w2v cos measure

[mariakaryaeva]

Объем очищенного Викисловаря: 10 826 ягода#клюква

Объективная картина:

• [ ] 1. Используя пары род-вид из Викшинари определить позицию рода (и вида) с помощью векторного представления
  • [ ] 2. Построить гистаграмму на базе первого шага

Комментарий: можно сделать для однословных и для двусловных

Классификатор для определния рода:

• [ ] 1. Положительные пары = викшинари
• [ ] 2. Отрицательные пары = (посмотреть у Лукашевич)
• [ ] 3. К-классификатор = конкатенация векторов
• [ ] 4. Р-классификатор = разница векторов

Применение на 60 тыс:

• [ ] 1. Вытащить род для 60 тыс к-классификатором
• [ ] 2.Вытащить род для 60 тыс р-классификатором

Анализ:

[mariakaryaeva]

Объективная картина:

Пары из Викисловаря род-вид (общее количество 10 826) Модель w2v: ruwikiruscorpora_upos_skipgram_300_2_2018 Искала вид в ассоциативном ряду, где главное слово ассоциативного ряда являлось родом

На примере 0,75 - косинусная мера близости между парой род-вид из Викисловаря. Встретилось 15 пар между которыми расстояние равно 0,75 [0,59 - 0,63] - максимальное количество пар: частота = более 80 пар на каждую меру диапазона.

cos	кол-во пар
0.59	88
0.60	89
0.61	101
0.62	89
0.63	86

[mariakaryaeva]

Извлекаю по границам [0,59 - 0,63] косинусная мера для 60тыс терминов

!!! ВАЖНО !!! взяла 60тыс НКРЯ, далее, удалила прилаг и глаголы = результат 33 022 существительных Результаты: https://www.dropbox.com/s/6zm37jwovlejdf4/w2v_range_res_up.txt?dl=0

Мне не понраивлись, но можно оценить (предварительно почистив: оставить те, которые в начальной форме)

мочь - слюна_NOUN   0.5933758616447449
человек - человекомя_NOUN   0.6001945734024048
человек - человеколо_NOUN   0.5959703922271729
год - го-д_NOUN 0.6155045032501221
год - собесотреть_NOUN  0.6153334379196167
год - г.од_NOUN 0.5916269421577454
дело - деловек_NOUN 0.6050057411193848
дело - делом_NOUN   0.6038206815719604
дело - делами_NOUN  0.6014077067375183
день - утро_NOUN    0.6243225336074829
день - днемя_NOUN   0.6224159002304077
день - днями_NOUN   0.6100884079933167
день - воскресенье_NOUN 0.6087555885314941
день - вечер_NOUN   0.6030083894729614
день - дня_NOUN 0.5921530723571777
день - час_NOUN 0.5904734134674072
рука - лапища_NOUN  0.6252477765083313
рука - плечо_NOUN   0.6150264143943787
рука - ладошка_NOUN 0.614885151386261
рука - плечотец_NOUN    0.6115555763244629
рука - рученька_NOUN    0.6114659309387207
рука - лапа_NOUN    0.6092888116836548
рука - руке_NOUN    0.5991290807723999
рука - пальчик_NOUN 0.5982112884521484
рука - рукамя_NOUN  0.596073567867279
рука - сгибнуть_NOUN    0.5944892168045044
рука - -рука_NOUN   0.5943259000778198

[mariakaryaeva]

Результаты файл smv_rbf_concat_pairs_res https://www.dropbox.com/s/4j0j9wyw4stws7n/smv_rbf_concat_pairs_res.txt?dl=0