开庭时可以不去，但是也可以去，没有强制性规定。被害人是指在刑事案件中合法权益遭受犯罪行为侵害的人。广义上的被害人，既包括刑事诉讼中的自诉案件的被害人，也包括刑事诉讼中的公诉案件的被害人。狭义上的被害人，仅指公诉案件中的被害人。
法律依据：《中华人民共和国刑事诉讼法》第一百九十一条 公诉人在法庭上宣读起诉书后，被告人、被害人可以就起诉书指控的犯罪进行陈述，公诉人可以讯问被告人。被害人、附带民事诉讼的原告人和辩护人、诉讼代理人，经审判长许可，可以向被告人发问。审判人员可以讯问被告人。
法律知识延伸阅读
新的刑事诉讼法修改时，引入了刑事和解制度。如果犯罪嫌疑人和受害者就赔偿问题达到协议，取得受害者谅解的，司法机关可以从轻、减轻或者免于刑事处罚。 刑事谅解书，一般指刑事案
第二次开庭能否判缓刑要视具体情况而定。如果犯罪嫌疑人、被告人符合犯罪情节较轻、有悔罪表现、被判处拘役、三年以下有期徒刑等缓刑适用的条件的，就可以判缓刑。 法律依据
刑事诉讼开庭流程为：开庭、法庭调查、法庭辩论、被告人最后陈述、评议和宣判。开庭时审判长应查明当事人是否到庭，宣布案由；宣布是否公开审判；宣布合议庭组成人员、书记员，公诉