聚众斗殴罪一般双方都是要抓的，但是是否都会处理要根据具体情况而定，一般情况下会处理首要分子和积极参与者。
法律依据：《刑法》第二百九十二条规定，聚众斗殴的，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制；有下列情形之一的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑： （一）多次聚众斗殴的； （二）聚众斗殴人数多，规模大，社会影响恶劣的； （三）在公共场所或者交通要道聚众斗殴，造成社会秩序严重混乱的； （四）持械聚众斗殴的。 聚众斗殴，致人重伤、死亡的，依照本法第二百三十四条、第二百三十二条的规定定罪处罚。