不算，遗弃罪是指负有扶养义务的人，对年老、年幼、患病或者其他没有独立生活能力的人拒绝抚养，情节恶劣的行为。而对于正常人跟残疾人离婚并没有限制，只是在离婚时，法院会考虑残疾人的实际情况，在财产方面会更多的照顾生活困难的一方。
法律依据：《民法典》 第一千零七十九条夫妻一方要求离婚的，可以由有关组织进行调解或者直接向人民法院提起离婚诉讼。人民法院审理离婚案件，应当进行调解；如果感情确已破裂，调解无效的，应当准予离婚。 有下列情形之一，调解无效的，应当准予离婚： （一）重婚或者与他人同居； （二）实施家庭暴力或者虐待、遗弃家庭成员； （三）有赌博、吸毒等恶习屡教不改； （四）因感情不和分居满二年； （五）其他导致夫妻感情破裂的情形。 一方被宣告失踪，另一方提起离婚诉讼的，应当准予离婚。 经人民法院判决不准离婚后，双方又分居满一年，一方再次提起离婚诉讼的，应当准予离婚。
法律知识延伸阅读
离婚房产可以归孩子，只要夫妻双方协商一致即可。离婚时夫妻的共同财产由双方协议处理；协议不成的，由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决
离婚协议书： 男方： 某某，男，汉族，____年__月__日生，住______。身份证号码： ____女方： 某某，女，汉族，____年__月__日生，住______，身份证号码： ____双方于____年__月认识，于____年__月__日在
女方要离婚是可以要求分割夫妻共同财产的，共同财产是双方共同所有的，不能因为一方主动提出离婚就排除其权利。双方离婚的时候需要先协商分割财产，不能协商一致的可以请求法院