Текущий скрипт измеряет точность UPOS, LEMMA, FEATures, UAS, LAS и alignment score.
Требуется создать дополнение, измеряющее MLAS (morphology-aware labeled attachment score) и AgreementScore.
Формат ввода/вывода тот же, что у скрипта в репозитории GramEval2020.
AgreementScore учитывает совпадение тегов значений в категориях Animacy, Case, Gender, Number в парах слов, связанных следующими отношениями и со следующими характеристиками:
в gold категория Case, Gender, Number присутствует и совпадает у обоих элементов пары
значения всех доступных тегов в паре совпадает, пара получает бинарную оценку 0 или 1 (local score)
Все пары, которые включают некоторое слово, подсчитываются отдельно. Согласующиеся пары слов, не связанных синтаксическим отношением, не учитываются.
Пример
новые ADJ Animacy=Inan...Case=Acc...Gender=Masc...Number=Plur
люди NOUN Animacy=Anim...Case=Nom...Gender=Masc...Number=Plur
# graded: no yes yes yes, isGradedInGold = 1
# output: no + 0 + 1 + 1
# local score: 0
AgreementScore = total score = SUM(local scores) / SUM (isGradedInGold),
т. е. результат учитывается доля позитивных local scores среди всех согласуемых пар в gold.
Текущий скрипт измеряет точность UPOS, LEMMA, FEATures, UAS, LAS и alignment score. Требуется создать дополнение, измеряющее MLAS (morphology-aware labeled attachment score) и AgreementScore. Формат ввода/вывода тот же, что у скрипта в репозитории GramEval2020.
Для MLAS можно использовать/адаптировать скрипт https://universaldependencies.org/conll18/conll18_ud_eval.py для MLAS (собственно, там и содержится описание, как что считается).
AgreementScore учитывает совпадение тегов значений в категориях Animacy, Case, Gender, Number в парах слов, связанных следующими отношениями и со следующими характеристиками:
Учитывается, что
Все пары, которые включают некоторое слово, подсчитываются отдельно. Согласующиеся пары слов, не связанных синтаксическим отношением, не учитываются.
Пример
AgreementScore = total score = SUM(local scores) / SUM (isGradedInGold), т. е. результат учитывается доля позитивных local scores среди всех согласуемых пар в gold.