变更抚养权不需要复婚。如果双方都自愿变更小孩抚养权，双方只要签订一个变更协议，表明变更的事实就行了，如果有一方不同意的，可以到法院起诉变更。除此之外，还要遵守那一方的抚养对孩子成长有利原则。如果对方抚养不利于孩子成长，那么法院会支持变更。
法律依据：《民法典》第一千零八十四条，父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。 离婚后，父母对于子女仍有抚养、教育、保护的权利和义务。 离婚后，不满两周岁的子女，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。
法律知识延伸阅读
有抚养权一方不履行抚养义务，另一方可以起诉要求变更抚养权。 根据我国相关法律的规定，与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康
已经办理了离婚手续，婴儿的抚养权是归女方所有的，男方要按时支付抚养费，如果孩子年满8周岁，法院在判决抚养权时，要考虑孩子的个人意愿，父母双方的居住条件，工作环境，收入状况。
夫妻俩离婚后，抚养权可以归男方所有，也能归女方所有，可以由双方协商确认抚养权归属问题，签订离婚协议，也可以准备材料去法院起诉，由法院根据父母的经济条件，孩子的个人意愿来判决