baseline stanza

[wisoffe]

Основные ссылки:

• Статья Простой граф знаний на текстовых данных
• Репозиторий Stanza
• Документация stanfordnlp.github.io/stanza/
• Размеченные датасеты с зависимостями https://universaldependencies.org/
• Расшифровки универсальных обозначений зависимостей https://universaldependencies.org/ru/dep/
• Расшифровка зависимостей для Русского языка 30 https://universaldependencies.org/treebanks/ru_syntagrus/index.html

Задачи:

• [x] Проанализировать возможности stanza на предмет решения задачи - на вход текст на русском языке (относительно небольшой длины ~несколько предложений) -> на выходе структурированная информация, достаточная для построения графа знаний/семантического графа (т.е. объекты, субъекты, отношения между ними)
• [x] Проанализировать возможность дообучения (файн тюнинга) на конкретном домене (в нашем случае на новостях формата, представленного в новостных пабликах telegram)
• [x] Текущий анализ должен быть оформлен в виде jupyter notebook, который будет через pull request добавлен в репозиторий (в директорию /notebooks)

[wisoffe]

Дополнительные статьи для изучения (по итогу выводы/саммари):

• [x] Habr: Парсим русский язык Саммари. Грамматика составляющих (constituency grammar) и Грамматика зависимостей (dependency grammar) (разница, что нам больше подходит для графа. -> Цитата из статьи: "грамматика составляющих не очень хорошо подходит для русского языка, т.к. в русском языке порядок слов в предложении зачастую можно менять местами, не меняя смысла. Для русского нам лучше подойдет грамматика зависимостей."

[wisoffe]

На заметку (полезная информация).

Описание универсальных зависимостей: This forms the case for dependency between every two words where one acts as the head and the other is the dependent. Currently, the Universal Dependency V2 taxonomy consists of 37 universal syntactic relations as specified in the table below:

Dependency Tag | Description -- | -- acl | clausal modifier of a noun (adnominal clause) acl:relcl | relative clause modifier advcl | adverbial clause modifier advmod | adverbial modifier advmod:emph | emphasizing word, intensifier advmod:lmod | locative adverbial modifier amod | adjectival modifier appos | appositional modifier aux | auxiliary aux:pass | passive auxiliary case | case-marking cc | coordinating conjunction cc:preconj | preconjunct ccomp | clausal complement clf | classifier compound | compound compound:lvc | light verb construction compound:prt | phrasal verb particle compound:redup | reduplicated compounds compound:svc | serial verb compounds conj | conjunct cop | copula csubj | clausal subject csubj:pass | clausal passive subject dep | unspecified dependency det | determiner det:numgov | pronominal quantifier governing the case of the noun det:nummod | pronominal quantifier agreeing in case with the noun det:poss | possessive determiner discourse | discourse element dislocated | dislocated elements expl | expletive expl:impers | impersonal expletive expl:pass | reflexive pronoun used in reflexive passive expl:pv | reflexive clitic with an inherently reflexive verb fixed | fixed multiword expression flat | flat multiword expression flat:foreign | foreign words flat:name | names goeswith | goes with iobj | indirect object list | list mark | marker nmod | nominal modifier nmod:poss | possessive nominal modifier nmod:tmod | temporal modifier nsubj | nominal subject nsubj:pass | passive nominal subject nummod | numeric modifier nummod:gov | numeric modifier governing the case of the noun obj | object obl | oblique nominal obl:agent | agent modifier obl:arg | oblique argument obl:lmod | locative modifier obl:tmod | temporal modifier orphan | orphan parataxis | parataxis punct | punctuation reparandum | overridden disfluency root | root vocative | vocative xcomp | open clausal complement

[wisoffe]

Проанализировать возможность дообучения (файн тюнинга) на конкретном домене (в нашем случае на новостях формата, представленного в новостных пабликах telegram): Для каждой подзадачи (tokenize, pos, lemma, ner, depparse и т.д.) используются отдельные модели, предусмотрена возможность замены моделей на кастомные, т.е. имеется возможность их дообучения/замены на свои.

[wisoffe]

Проанализировать возможности stanza на предмет решения задачи - на вход текст на русском языке (относительно небольшой длины ~несколько предложений) -> на выходе структурированная информация, достаточная для построения графа знаний/семантического графа (т.е. объекты, субъекты, отношения между ними)

Краткие выводы по stanza (применимость на нашем домене - новости на русском языке, из телеграмм каналов):

• качество формирования именованных сущностей -> удовлетворительное;
• качество формирования зависимостей - удовлетворительное, но применительно к нашей задаче -> предположение, о возможности, формирования макимально емких триплетов (передающих основную суть новости), на основе постобработки простыми правилами результатов работы Stanza (Entities & Dependencies), без предобработки видится затруднительным, основные причины:
  • новости часто состоят из нескольких взаимозависимых предложений, но суть, в большинстве случаев, можно выразить 1-3 триплетами;
  • Stanza тегирует зависимости очень подробно (используется 37 универсальных тегов), сопоставление с ручной разметкой триплетов из нескольких новостей, показывает, что в триплеты попадают разнообразные наборы тегов, которые сложно описать простыми правилами;
• решение о необходимости проведения дополнительного анализа применимости станза, необходимо принять после:
  • проведения экспериментов с предварительной саммаризацией новостей (существующими предобученными моделями), для их сжатия в максимально компактные предложения (по сути заголовки), при этом может быть сформировано несколько наиболее подходящих вариантов, которые уже будут подаваться на вход stanza;
  • окончания экспериментов с аналогами stanza (spacy, spacy-natasha).

Краткие выводы по применимости алгоритма формирования триплетов (из статьи) на нашем домене (новости из телеграм каналов):

• видим, что триплеты формируются только для 5-10% исходных предложений, что является неудовлетворительным результатом;
• качество триплетов для нашего домена новостей неудовлетворительное.

Код для нашего домена, формирующий триплеты из выходных данных, полученных после обработки stanza (или аналогичной библиотеки) необходимо реализовать самостоятельно.