Izroček 2.4: vektorska predstavitev izrazov, karte izrazov

[BlazZupan]

Izroček 2.4: knjižnica in primeri uporabe metod za vektorsko predstavitev izrazov in izris kart izrazov.

[PrimozGodec]

V 03_04_vector_representation_of_words.ipynb pridobimo besedila 100 predlogov vladi, jih preprocesiramo in iz njih izluščimo besede. Besede predstavimo z vektorji s pomočjo vložitve imenovane fastText in jih prikažemo v karti izrazov. Tiste besede, ki so podobne, so v karti blizu skupaj. V karti z barvami označimo skupine podobnih izrazov. Da se prepričamo o podobnosti izrazov v skupinah, izpišemo izraze v eni izmed skupin.

[BlazZupan]

Dela na tem izročku so zaključena.

[mihajMJU]

Kako, da sta tukaj samo dve skupini? Ali so prikazani tudi izrazi dokumentov, ki niso v skupini? Oziroma ali je možno videti tudi izraze dokumentov, ki se niso razvrstili vnobeno skupino? Ali je tudi možno videti, v katerih dokumentih se izraz/izrazi pojavljajo?

[ajdapretnar]

@mihajMJU

• Dve skupini sta zato, ker embedding ločuje med glagoli in ne-glagoli. Posledično nastane ločena skupina za glagole (na levi). Sicer pri tem ne gre v resnici za skupino, ki bi bila rezultat gručenja. DBSCAN, ki izvede gručenje, vrne 338 skupin dokumentov, 381 dokumentov ne pripada nobeni skupini.
• Prikazani so zgolj izrazi izbrane skupine. Možno je zamenjati izbor in prikazati izraze iz izbrane skupine. Ali dodam primer, kjer so prikazani izrazi dokumentov, ki jih DBSCAN ni razvrstil v nobeno od skupin?
• Lahko dopišemo še ID-je ali pa recimo naslove dokumentov izbrane skupine.

Pri tem je seveda vprašanje, ali je to mišljeno za shematski prikaz v skriptah ali je to namenjeno kasnejši implementaciji v uporabniškem vmesniku?