1、不算，遗弃罪是指负有扶养义务的人，对年老、年幼、患病或者其他没有独立生活能力的人拒绝抚养，情节恶劣的行为。而对于正常人跟残疾人离婚并没有限制，只是在离婚时，法院会考虑残疾人的实际情况，在财产方面会更多的照顾生活困难的一方。 2、法律依据：《民法典》 第一千零七十九条夫妻一方要求离婚的，可以由有关组织进行调解或者直接向人民法院提起离婚诉讼。人民法院审理离婚案件，应当进行调解；如果感情确已破裂，调解无效的，应当准予离婚。 有下列情形之一，调解无效的，应当准予离婚： （一）重婚或者与他人同居； （二）实施家庭暴力或者虐待、遗弃家庭成员； （三）有赌博、吸毒等恶习屡教不改； （四）因感情不和分居满二年； （五）其他导致夫妻感情破裂的情形。 一方被宣告失踪，另一方提起离婚诉讼的，应当准予离婚。 经人民法院判决不准离婚后，双方又分居满一年，一方再次提起离婚诉讼的，应当准予离婚。
法律知识延伸阅读
离婚被告需要准备自己的身份证或者户口本和与案件有关的证据材料。如果离婚诉讼中涉及财产分割的，要准备证明财产状况的资料；如果涉及子女抚养权，当事人想争取抚养权的，要提供
(一)不涉及财产关系的：2000元-30000元/件。 上下浮动幅度：20% 但收费额不足2000元的按2000元收取。 (二)涉及财产关系的，按争议标的额的以下费率实行分段累计收费： 标的额费率
1、按件收费收取 （1）无财产争议：6000元-20000元之间； （2）法律文书：600元-2000元之间； （3）律师见证：2000元-10000元之间； （4）代办公证：1500元-3000元之间。 2、民事案件收费 （1）一审争议标的