greatrobocreator
commented
3 months ago Выстреливает, когда model != endpoint_info['model_name'] Например, у меня так случилось, когда поменял judge на Claude
Open greatrobocreator opened 3 months ago
greatrobocreator
commented
3 months ago Выстреливает, когда model != endpoint_info['model_name'] Например, у меня так случилось, когда поменял judge на Claude
Здесь должно быть
endpoint_info["model_name"]вместоmodelhttps://github.com/deepvk/arena-hard/blob/b07523e7eee428dfb10bb751956c38cc2a28cfe5/gen_judgment.py#L102
В оригинальной lm-sys/arena-hard-auto уже исправили: https://github.com/lm-sys/arena-hard-auto/blob/b00effbe44985651be892b01d765587adc13c888/gen_judgment.py#L98