不赔偿不可以，受害人可以向法院提起诉讼，要求法院判决打人者赔偿医疗费等损失，若不执行法院判决，仍不赔偿，受害人可以申请法院强制执行，对被告人的财产进行查封、变卖，用于赔偿受害人的损失。
法律依据：《治安管理处罚法》第九条 对于因民间纠纷引起的打架斗殴或者损毁他人财物等违反治安管理行为，情节较轻的，公安机关可以调解处理。经公安机关调解、当事人达成协议的，不予处罚。经调解未达成协议或者达成协议后不履行的，公安机关应当依照本法的规定对违反治安管理行为人给予处罚，并告知当事人可以就民事争议依法向人民法院提起民事诉讼。
法律知识延伸阅读
被告人应当以强奸罪追究其刑事责任。 根据《中华人民共和国刑法》第二百三十六条，以暴力、胁迫或者其他手段强奸妇女的，处三年以上十年以下有期徒刑。
打架案件的处理程序是： 根据《中华人民共和国治安管理处罚条例》第5条的规定，公安机关对于因民间纠纷引起的打架斗殴或者损毁他人财物等违反治安管理行为，情节轻微的，可以调解
如果使对方造成轻伤以上，则涉嫌刑事犯罪。故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。但是正当防卫的可以减轻处罚。 法律依据： 《刑法》第二十条，为了使国家、公