Реализовать раскраску вершин графа в зависимости от типа NER (персона, организация и т.п.)

[wisoffe]

Задача делится на backend и frontend части.

Backend задачи:

• [x] проанализировать возможные типы NER (помнится, где то встречал упоминание о библиотеке для русского языка, которая позволяла классифицировать ner более широко, чем большинство остальных, найти ее), по итогу выбрать подходящие для нашего домена типы нер; => На текущем этапе, решено использовать данную схему, т.к. 3 типа + 1 тип для всех остальных. Разбор на большее количество типов (даже, если инструменты для русского есть), плохо скажется на читаемости, будет содержать больше ошибок.
• [x] добавить в схему таблицы ner, дополнительное поле ner_type_id и доп таблицу ner_types с перечислением типов;
• [x] выбрать библиотеку, способ, стадию, на котором будет происходить дополнительное извлечение классов нер (самый простой способ, встроить в логику извлечения нер через natasha/stanza, но если будет решено использовать более богатую классификацию, то возможны иные подходы); реализовать извлечение для всех новых нер;
• [x] провести единоразовую классификацию по типам нер, для всех, ранее добавленных в базу нер => не актуально, т.к. с учетом изменений, будет полностью пересчитаны результаты всего ner-пайплайна
• [ ] изменить код построения триплетов, для получения доп. информации по типам нер.

[wisoffe]

Типы ner:

• Stanza (для русского языка доступно 3 типа + 1 все остальное) - PER (Person), LOC (Location), ORG (Organization) and MISC (Miscellaneous)
• Natasha - Extract standart named entities: names (PER), locations (LOC), organizations (ORG).

На текущем этапе, решено использовать данную схему, т.е. 3 типа + 1 тип для всех остальных. Разбор на большее количество типов (даже, если инструменты для русского есть), плохо скажется на читаемости, будет содержать больше ошибок.