dialogue-evaluation / GramEval2020

21 stars 6 forks source link

Одинаковый score разных файлов #21

Closed victorbocharov closed 4 years ago

victorbocharov commented 4 years ago

Два из трёх отправленных файлов (1 и 2) получили одинаковый score, хотя в них различается 30% строк. Проверьте, пожалуйста, что я делаю не так.

md5sum файл время a201c578dfaa75dbef78d16e61b310a2 1.conllu (02/24/2020 12:07:33) af9cdadf4813e76cee34cabab2ff3879 2.conllu (02/24/2020 15:36:48) c8148e00d1ce4bca526696a37caa2f42 3.conllu (02/24/2020 13:37:37)

TatianaShavrina commented 4 years ago

Если не секрет, в чем смысл данной операции.

Такой же результат действительно может быть, если не изменились золотые данные

victorbocharov commented 4 years ago

Я залил новую разметку. Получил старый score в ответ на неё. Задаю вопрос, почему?