Open PolinaZulik opened 1 year ago
Model | Annotator | Metaphor N, % | Train Corpus | precision | recall | f1-score | f1-macro |
---|---|---|---|---|---|---|---|
DeepPavlov/rubert-base-cased-conversational, prop. cased | majority | 59, 5.5, test | lcc+yulia | 0.15 | 0.47 | 0.23 | 0.56 |
DeepPavlov/rubert-base-cased-conversational, prop. cased | majority | 59, 5.5, test | lcc+yulia+wiktionary | 0.20 | 0.49 | 0.29 | 0.61 |
Осталось:
Иван:
[x] таблица https://github.com/PolinaZulik/metaphor-psycho/issues/15#issuecomment-1272299109 в аппендикс 3, только колонки Train Corpus | precision | recall | f1-score | f1-macro;
[x] во всех таблицах статьи проверить, датасеты должны называться: LCC, Yulia, Wiktionary. rusidio -> MetPersonality.
[x] форматирование таблицы Vague and borderline cases ... .
[x] форматирование таблицы примеров разметки.
[x] orcid: https://orcid.org/0000-0002-9229-6456, https://orcid.org/0000-0002-6019-3700
[x] перед References: Acknowledgements, Competing Interests Statement. см пример в IPM-D-20-01145_R3-8-61.pdf. в acknowledgements должны быть (1)наш грант (см г-док), (2)anonymous reviewers for their invaluable comments:), и (3) Elena Kotlyarova and Victoria Zavarzina for performing metaphor annotation.
[x] отформатировать References в формате American Psychological Associoation (APA):
не руками каждую ссылку! для этого должна быть какая-то команда, нужно поискать. кажется, APA же используется в прикрепленном pdf.
[x] в таблицу Benchmark datasets for metaphor detection добавить ссылки на соответствующие статьи, в первой колонке.
[x] найти пример ссылки в основном тексте статьи на аппендикс - кажется, был где-то в шаблоне .
@Wheatley961 см. образцы таблицы со стр. 340 и 651 в overleaf. сделай пжлст по соответствующим образцам:
потом посмотри, пжлст, как сделать читаемее: поиграться с шириной колонок (типа p{1.5cm}) или добавить вертикальные линии ( | вместо &).
@Wheatley961 еще задачки:
здесь не хватает скобок, и такое почти везде.
здесь дублируется 'X et al'.
т.е. надо посмотреть в текст и сделать максимально похоже на него. но вместо квадратных скобок [] поставить круглые ().
!!! UPD !!!: наверно, все не так просто. посмотри плз, как оформлены ссылки в Prediction-of-stress-levels-in-the-workplace-us_2022_Information-Processing-.pdf. это статья в этом же журнале. давай попробуем сделать так же. там вроде везде скобки вокруг ссылок, но не вокруг года. +ну и совсем глупые вещи типа дублируется 'X et al' нужно глазами просмотреть и поправить.
@PolinaZulik , done! Оформление ссылок исправил, поменяв команду. Дублирования имён авторов и следующих за ними аналогичных ссылок убрал, добавил перекрёстные ссылки на разделы и подразделы (по ходу упоминания в тексте). На приложения ссылаемся верно. Таблицы 5, 6 и 7 уменьшил по размеру. Можно, конечно, ещё уменьшить и шрифт на 2 пункта.
@Wheatley961 супер!
глянь пжлст, почему-то Литвинова 2020 по всему тексту цитируется с инициалом
это дизайн стиля такой, или баг именно этой ссылки?
@PolinaZulik , я посмотрел, встречались ли у других пользователей такие проблемы. На Stack пишут, что такое поведение объясняется наличием нескольких авторов с одной и той же фамилией (у нас – Татьяна и Ольга в одной из статей 2017 года). С этой целью введено такое различие авторов.
makes sense!
В таблице existing datasets посмотри пжлст соответствующие статьи и распиши пжлст (можно прямо здесь), где какой inter-annotator agreement достигался. Важно число разметчиков, метрика качества аннотации (альфа Криппендорфа или каппа Коэна напр.), и число -значение метрики.
@PolinaZulik , сделал. Надеюсь, остальное будет понятно. :-)
<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
Paper | Number of annotators | Inter-annotator agreement metrics | Value -- | -- | -- | -- Steen, 2010 (VUA) | In Chapter 8, he describes several studies, but there are three or four annotators in each experiment. | Fleiss’ Kappa | Reliability was good. Measured by Fleiss’ kappa, the mean value was about 0.85 for the English language data, and 0.82 for the Dutch language data. On average, the analysts achieved unanimous agreement of approximately 92% of all cases. This result may be regarded as a target for future metaphor research on authentic data. Shutova & Teufel, 2010 | Three independent volunteer annotators, who were all native speakers of English and had some linguistic background. | The reliability of the annotation scheme by assessing interannotator agreement was carried out in terms of κ (Siegel and Castellan, Nonparametric statistics for the behavioral sciences, 1988) | The identification of metaphorical verbs yielded the agreement of 0.64 (κ), which is considered reliable. Tsvetkov et al., 2014 (TSV) | Five English annotators. Six Russian annotators. | Fleiss’ Kappa | EN-AN-relation = 0.76, RU-AN-relation = 0.85, EN-SVO-relation = 0.75, RU-SVO-relation = 0.78. Mohler et al., 2016 (LCC) | A team of nine annotators working in four languages (American English, Mexican Spanish, Russian, and Farsi) | NOT MENTIONED | 92.8% (EN), 92.1% (ES), 87.4% (RU), 87.1% (FA). NB! I mentioned only metaphoricity and excluded such inter-annotator results as target relatedness, syntactic relatedness, etc. Mohammad et al, 2016 (MOH) | Each instance was annotated by at least ten annotators. | NB! They use Fisher's exact and binominal tests, not inter-annotator agreement metrics. | The results support two hypotheses. The first one is that metaphorical expressions are more emotional. The second one is that metaphorical senses of the same word tend to carry more emotion than its literal senses (differences in all tests are significant with greater than 95% confidence). Badryzlova, 2018 | One annotator, a trained linguist. | - | - Zayed et al., 2019 | There was a preliminary task for choosing best annotators. The authors selected the top five candidates to proceed with the main tasks. | Fleiss’ Kappa | Emotional tweets: 0.742 (Partial exclusion (keep, light verbs)), 0.732 (full exclusion), 0.701 (no exclusion). Political tweets: 0.806 (Partial exclusion (keep, light verbs)), 0.805 (full exclusion), 0.802 (no exclusion).
https://www.overleaf.com/project/633ab8bfb718bb00a710fb0e
ToDo: