mariakaryaeva / SemRelYARN

1 stars 0 forks source link

Для статьи: evaluation #18

Open mariakaryaeva opened 6 years ago

mariakaryaeva commented 6 years ago
  Частотный список Только сущ
Золотой стандарт 60 000 33 022
  уникальных пар пересеч с ЗС
Викисловарь 59 582 10 826
  уникальных терминов пересеч с ЗС
Словари 67 332 22 356
mariakaryaeva commented 6 years ago

всего определений без дубликатов во всех словарях 141 616 (термины очищены 60 тыс) countDef_ALL_dict_standart_60k_no_dubl_clean.txt

метод Юры по всем словарям данные файл со всеми парами

статистика по терминам

статистика

("виды" прочищенные 60К)

  кол-во пар уник терминов (из 60к на месте вида) формат
Однословные шаблоны 57 890 19 572   вид - род
Пара кол-во раз извлеклась
аббат - настоятель 4
аббат - священник 1
аббат - священнослужитель 1
аббат - франция 1
аббатство - монастырь 3
аббатство - пребывание 1
аббревиатура - слово 3
аббревиатура - словообразование 1
аббревиатура - сокращение 2
абвер - орган 1
аберрация - заблуждение 1
аберрация - искажение 3
аберрация - отклонение 4
аберрация - ошибка 1
аберрация - смещение 2
абзац - отступ 4
абзац - строка 1
абзац - текст 2
абитуриент - выпускник 1
абитуриент - учащийся 2
абитуриент - человек 1
абонемент - документ 3
абонемент - отдел 1
абонемент - право 2
mariakaryaeva commented 6 years ago

СНАЧАЛА ДЕЛАЕМ КЛАСТЕРИЗАЦИЮ

всего терминов, по которым есть определения 20 229 общее количество кластеров: 72 921

от 23/02:

в файле терминов 22 356

pict_github_empty_cluster_1word

сооружение {72827: 'процесс', 72828: 'строение,постройка,строение', 72829: 'приспособление,приспособление', 72831: 'здание'}

роговица {20443: 'оболочка,оболочка'} омнибус {28614: 'экипаж,карета,экипаж,экипаж,карета'}

пункт {23376: 'единица,единица,единица', 23377: 'знак,знак', 23378: 'учреждение,учреждение', 23380: 'знак', 23381: 'ние', 23382: '', 23374: 'момент,место,место,вопрос,место,место,мысль,место,место,вопрос,вопрос,место,место,момент,момент,место,место,место,момент', 23375: 'раздел,статья,раздел'}

Схлопнулись одинаковые стюардесса {20048: '', 20045: 'сотрудница,служащая', 20047: ''}

mariakaryaeva commented 6 years ago
  EFR CTS MAS Wiktionary BAB USH Wikipedia Total unique concepts
TNOUN 60 615 32 830 34 272 69 410 1 984 33 035   --
hypo@1 39 510 29 773 21 291 62 743 1 743 23 863   98 004
hypo@2 12 263 10 649 8 262 30 521 602 7 872