metaphor paper reviews 1st version

[PolinaZulik]

https://www.overleaf.com/project/633ab8bfb718bb00a710fb0e

ToDo:

• [x] add results tables;
• [x] add experiment descriptions;
• [ ] to the end of Introduction:
  • [ ] add RQs;
  • [x] add short Contributions (including novelty!);
  • [x] add 'the rest of the paper ...'.
    • [x] to 'Automatic metaphor detection and individual differences in experimental texts':
  • [x] add longer task-by-task description.
  • [x] probably, add flowchart.
    • [x] re-describe experiment data
    • [x] check usage of cyrillic.
    • [x] check the whole paper, add text on new experiments, add all tables and cyrillic symbols;
    • [x] add references;
    • [x] add appendices;
    • [x] add reviewer proofs!

[PolinaZulik]

Model	Annotator	Metaphor N, %	Train Corpus	precision	recall	f1-score	f1-macro
DeepPavlov/rubert-base-cased-conversational, prop. cased	majority	59, 5.5, test	lcc+yulia	0.15	0.47	0.23	0.56
DeepPavlov/rubert-base-cased-conversational, prop. cased	majority	59, 5.5, test	lcc+yulia+wiktionary	0.20	0.49	0.29	0.61

[PolinaZulik]

Осталось:

• [x] дописать:
  • [x] результаты met detection;
  • [x] результаты correlation;
  • [x] Conclusions and future work.
  • [x] таблицы:
    • [x] примеры метафор и решений CAA;
    • [x] в аппендикс: полные результаты prediction.
  • [x] аппендикс: CAA guidelines, preliminary experiments;
  • [x] references - Иван?
  • [x] авторы, running heads итд.
  • [x] работа по комментам ревьюеров!

[PolinaZulik]

Иван:

• [x] таблица https://github.com/PolinaZulik/metaphor-psycho/issues/15#issuecomment-1272299109 в аппендикс 3, только колонки Train Corpus | precision | recall | f1-score | f1-macro;

• [x] во всех таблицах статьи проверить, датасеты должны называться: LCC, Yulia, Wiktionary. rusidio -> MetPersonality.

• [x] форматирование таблицы Vague and borderline cases ... .

• [x] форматирование таблицы примеров разметки.

• [x] orcid: https://orcid.org/0000-0002-9229-6456, https://orcid.org/0000-0002-6019-3700

• [x] перед References: Acknowledgements, Competing Interests Statement. см пример в IPM-D-20-01145_R3-8-61.pdf. в acknowledgements должны быть (1)наш грант (см г-док), (2)anonymous reviewers for their invaluable comments:), и (3) Elena Kotlyarova and Victoria Zavarzina for performing metaphor annotation.

• [x] отформатировать References в формате American Psychological Associoation (APA):

  

  не руками каждую ссылку! для этого должна быть какая-то команда, нужно поискать. кажется, APA же используется в прикрепленном pdf.

• [x] в таблицу Benchmark datasets for metaphor detection добавить ссылки на соответствующие статьи, в первой колонке.

• [x] найти пример ссылки в основном тексте статьи на аппендикс - кажется, был где-то в шаблоне .

[PolinaZulik]

@Wheatley961 см. образцы таблицы со стр. 340 и 651 в overleaf. сделай пжлст по соответствующим образцам:

• [x] примеры разметки;
• [x] Vague and borderline cases.

потом посмотри, пжлст, как сделать читаемее: поиграться с шириной колонок (типа p{1.5cm}) или добавить вертикальные линии ( | вместо &).

[PolinaZulik]

@Wheatley961 еще задачки:

• [x] эта таблица потерялась, добавь ее пжлст в Аппендикс 3. - UPD: не права, нашла ее.
• [x] пример 3 в последней колонке таблицы vague and borderline cases. текст чуть не влезает внизу. можно ли с этим что-то сделать?
• [x] по всему тексту аккуратно оформить текст вокруг ссылок. например:

  здесь не хватает скобок, и такое почти везде.

  

  здесь дублируется 'X et al'.

т.е. надо посмотреть в текст и сделать максимально похоже на него. но вместо квадратных скобок [] поставить круглые ().

!!! UPD !!!: наверно, все не так просто. посмотри плз, как оформлены ссылки в Prediction-of-stress-levels-in-the-workplace-us_2022_Information-Processing-.pdf. это статья в этом же журнале. давай попробуем сделать так же. там вроде везде скобки вокруг ссылок, но не вокруг года. +ну и совсем глупые вещи типа дублируется 'X et al' нужно глазами просмотреть и поправить.

• [x] проверить ссылки на аппендиксы в тексте. что ссылаемся на верные номера аппендиксов.
• [x] сузить небольшие таблицы типа 5,6.

[PolinaZulik]

• [x] посмотри пжлст, как красиво делать ссылки на (sub-)Sections статьи.

[Wheatley961]

@PolinaZulik , done! Оформление ссылок исправил, поменяв команду. Дублирования имён авторов и следующих за ними аналогичных ссылок убрал, добавил перекрёстные ссылки на разделы и подразделы (по ходу упоминания в тексте). На приложения ссылаемся верно. Таблицы 5, 6 и 7 уменьшил по размеру. Можно, конечно, ещё уменьшить и шрифт на 2 пункта.

[PolinaZulik]

@Wheatley961 супер!

глянь пжлст, почему-то Литвинова 2020 по всему тексту цитируется с инициалом

это дизайн стиля такой, или баг именно этой ссылки?

[Wheatley961]

@PolinaZulik , я посмотрел, встречались ли у других пользователей такие проблемы. На Stack пишут, что такое поведение объясняется наличием нескольких авторов с одной и той же фамилией (у нас – Татьяна и Ольга в одной из статей 2017 года). С этой целью введено такое различие авторов.

[PolinaZulik]

makes sense!

[PolinaZulik]

В таблице existing datasets посмотри пжлст соответствующие статьи и распиши пжлст (можно прямо здесь), где какой inter-annotator agreement достигался. Важно число разметчиков, метрика качества аннотации (альфа Криппендорфа или каппа Коэна напр.), и число -значение метрики.

[Wheatley961]

@PolinaZulik , сделал. Надеюсь, остальное будет понятно. :-)

<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">

Paper | Number of annotators | Inter-annotator agreement metrics | Value -- | -- | -- | -- Steen, 2010 (VUA) | In Chapter 8, he describes several studies, but there are three or four annotators in each experiment. | Fleiss’ Kappa | Reliability was good. Measured by Fleiss’ kappa, the mean value was about 0.85 for the English language data, and 0.82 for the Dutch language data. On average, the analysts achieved unanimous agreement of approximately 92% of all cases. This result may be regarded as a target for future metaphor research on authentic data. Shutova & Teufel, 2010 | Three independent volunteer annotators, who were all native speakers of English and had some linguistic background. | The reliability of the annotation scheme by assessing interannotator agreement was carried out in terms of κ (Siegel and Castellan, Nonparametric statistics for the behavioral sciences, 1988) | The identification of metaphorical verbs yielded the agreement of 0.64 (κ), which is considered reliable. Tsvetkov et al., 2014 (TSV) | Five English annotators. Six Russian annotators. | Fleiss’ Kappa | EN-AN-relation = 0.76, RU-AN-relation = 0.85, EN-SVO-relation = 0.75, RU-SVO-relation = 0.78. Mohler et al., 2016 (LCC) | A team of nine annotators working in four languages (American English, Mexican Spanish, Russian, and Farsi) | NOT MENTIONED | 92.8% (EN), 92.1% (ES), 87.4% (RU), 87.1% (FA). NB! I mentioned only metaphoricity and excluded such inter-annotator results as target relatedness, syntactic relatedness, etc. Mohammad et al, 2016 (MOH) | Each instance was annotated by at least ten annotators. | NB! They use Fisher's exact and binominal tests, not inter-annotator agreement metrics. | The results support two hypotheses. The first one is that metaphorical expressions are more emotional. The second one is that metaphorical senses of the same word tend to carry more emotion than its literal senses (differences in all tests are significant with greater than 95% confidence). Badryzlova, 2018 | One annotator, a trained linguist. | - | - Zayed et al., 2019 | There was a preliminary task for choosing best annotators. The authors selected the top five candidates to proceed with the main tasks. | Fleiss’ Kappa | Emotional tweets: 0.742 (Partial exclusion (keep, light verbs)), 0.732 (full exclusion), 0.701 (no exclusion). Political tweets: 0.806 (Partial exclusion (keep, light verbs)), 0.805 (full exclusion), 0.802 (no exclusion).

[PolinaZulik]

@Wheatley961 спасибо! остались финальные правки и вычитка.

• [x] пройдись пжлст по всем примерам, пронумеруй их по образцу Ex.2 в Introduction. Посмотри, чтобы везде в тексте были соответствующие ссылки с правильными порядковыми номерами. часто в этих местах я выделяла красным, чтобы не забыть именно это аккуратно проверить.
• [x] Табл 12, 13 в Аппендиксе: сделай их поуже. в Табл 13 в первом столбце нужно запятые заменить на плюсыю (NB! дефисы не трогать!:)
• [x] давай начнем вычитывать статью. прочитай пжлст по возможности от начала до конца. и давай попытаемся сделать ее понятной:)
  • [x] есть ли места, фразы, логические переходы, которые тебе непонятны?
  • [x] обрати пжлст внимание на следующие замечания ревьюеров:

    Some of the sentences are really long and run-on. Consider making it shorter for readability.

Captialisation is a bit odd at times, the authors should avoid capitalising names of scientific areas/methods (psychology, social sciences, conceptual metaphor etc.) but also fail to capitaise some proper nouns (Google Sheets, Python).

the manuscript lacks flow and is difficult to follow in different areas. Some sentences are incomplete and paragraphs meander.

по посленим двум пунктам: если уверен, можешь предложить свои изменения, тогда выделяй их пжлст зеленым. там где не уверен, на что заменить, пиши в список "непонятных кусков", я потом по ним пройдусь.

дедлайн подачи - среда 19 октября.

[Wheatley961]

@PolinaZulik , done! Все примеры разметил и добавил сквозную нумерацию, в тексте также исправил ссылку на нумерацию, т.к. были расхождения. Таблицы сузил, заменил запятые на плюсы. Также прикрепляю общий файл с двумя секциями. В первой секции предложены основные идеи по улучшению (или просто указаны моменты, которые меня смутили). Во второй секции, как условились, для выделенных зёленым цветом в статье фрагментов привёл мой аналог, предыдущий вариант, а для некоторых оставил и краткое пояснение замены. Надеюсь, что более-менее помог. :-) Но чего-то сверхсложного, отрывистого или непонятного в статье я не увидел. Список возможных изменений.docx

[PolinaZulik]

@Wheatley961

• [x] просмотри пжлст аккуратно ссылки с этой страницы: https://www.elsevier.com/journals/information-processing-and-management/0306-4573/guide-for-authors . все ли у нас, как надо? надо ли добавить какие-то формальные разделы, что-то переоформить?
• [x] Table 4. Examples of annotation results. похоже, здесь результаты первой, устаревшей версии разметки. перепиши пжлст примерами из новой версии, отсюда https://docs.google.com/spreadsheets/d/1MHVfQffVjyn16NRFWk30JFSAnVgDIbNph4EQ04eP5wg/edit#gid=701771570 .

@PolinaZulik , хорошо, вечером проработаю этот момент, но мне нужен доступ в Trello к пространству. Его пока нет. :-(

конечно, ссылка не та! не стучись в трелло. https://www.elsevier.com/journals/information-processing-and-management/0306-4573/guide-for-authors

[Wheatley961]

@PolinaZulik , хорошо, вечером проработаю этот момент.

[PolinaZulik]

• [x] нашла еще нестыковку: @Wheatley961 давай по всему тексту сделаем RusPersonality, MetPersonality и RusPersonality-rest жирным (по большей части они такие и есть, особенно MetPersonality). думаю, в таблицах это менять не надо - оставим там нежирным, а то будет громоздко.

[PolinaZulik]

@Wheatley961 из твоих комментариев:

And it is better to unify the lists in terms of interline spacings as they are different across the paper.

• [x] ты не мог бы попробовать это покрутить? я не знаю, как это сделать..