不算，遗弃罪是指负有扶养义务的人，对年老、年幼、患病或者其他没有独立生活能力的人拒绝抚养，情节恶劣的行为。而对于正常人跟残疾人离婚《中华人民共和国民法典》并没有特别规定，只是在离婚时，法院会考虑残疾人的实际情况，在财产方面会更多的照顾生活困难的一方。
法律依据：《民法典》 第一千零七十六条 夫妻双方自愿离婚的，应当签订书面离婚协议，并亲自到婚姻登记机关申请离婚登记。离婚协议应当载明双方自愿离婚的意思表示和对子女抚养、财产以及债务处理等事项协商一致的意见。 第一千零七十七条 自婚姻登记机关收到离婚登记申请之日起三十日内，任何一方不愿意离婚的，可以向婚姻登记机关撤回离婚登记申请。前款规定期限届满后三十日内，双方应当亲自到婚姻登记机关申请发给离婚证；未申请的，视为撤回离婚登记申请。 《刑法》第二百六十一条 【遗弃罪】对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。
法律知识延伸阅读
离婚以后就不属于家暴了，可以报警处理，申请伤情鉴定： 1、如果构成轻伤或轻伤以上，打人者就涉嫌故意伤害罪，依法应被追究刑事责任。处三年以下有期徒刑，拘役，管制。 2、如果伤情鉴
人民法院适用普通程序审理的案件，应当在立案之日起六个月内审结。有特殊情况需要延长的，由本院院长批准，可以延长六个月;还需要延长的，报请上级人民法院批准。人民法院适用简易
可以诉讼离婚，夫妻双方因感情不和而分居2年，法院可以进行判决离婚。男女一方要求离婚的，可由有关部门进行调解或直接向人民法院提出离婚诉讼。人民法院审理离婚案件，应当进行调