Izroček 2.X: vrednotenje in primerjava tehnik za iskanje ključnih besed

[BlazZupan]

Pripravimo korpus, kjer so dokumenti že označeni s ključnimi besedami (npr. članki v revijah). Na tem korpusu primerjamo tehnike za iskanje ključnih besed. Cilj je identificirati omejeno število tehnik, katerih točnost bi bila najboljša in katere bi potem uporabili v grafičnem uporabniškem vmesniku.

Izroček ni bil prvotno vključen v projekt, a smo ga opcijsko vključili, saj nam koristi pri nadaljnjem delu.

[PrimozGodec]

Pripravili smo štiri korpuse z že označenimi dokumenti. Dva v slovenščini in dva v angleščini.

• Članki iz revije Prispevki za novejšo zgodovino - 01-03-CTCH-exploration.ipynb na kratko predstavi ta korpus.
• Članki iz revije Elektrotehniški vestnik - 01-04-el.vestnik-exploration.ipynb na kratko prestavi ta korpus.
• Nabor besedil Semeval - Semeval je korpus, ki ga sestavlja 244 člankov s področja računalništva
• Nabor besedil Shultz2008 - Schultz2008 je korpus, ki ga sestavlja 1232 člankov s področja medicine.

Na zgoraj omenjenih člankih smo primerjali več pristopov za luščenje ključnih besed: TF-IDF, pristop z vekorskimi vložitvami, RAKE, Yake! in TextRank. Objektivne primerjave so predstavljene v naslednjih zvezkih:

• Primerjava na člankih v prispevkih za novejšo zgodovino: 04_06_specific_words_comparison_ctch.ipynb
• Primerjava na člankih iz elektrotehniškega vestnika: 04_07_specific_words_comparison_el_vestnik.ipynb

Za referenco smo primerjali tudi pristope na besedili na katerih so primerjavo izvedli v literaturi. Gre za besedila v angleščini.

• Primerjava na naboru besedil Semeval je predstavljena v 04_08_specific_words_comparison_schutz2008.ipynb
• Primerjava na naboru besedil Shultz2008 je predstavljena v 04_09_specific_words_comparison_semeval.ipynb

[BlazZupan]

Rezultati primerjave so res zanimivi. Med primerjavo so se tudi optimizirale nekatere tehnike, na primer vložitve v vektorske prostore z globokimi modeli. Ta pristop, ob uporabi korpusa, po kvaliteti sedaj celo prednjači na slovenskih besedilih. Tako, da bi bilo najbrž komentar na koncu primerjave, ki pravi "Iz grafov lahko sklepamo, da se na primeru člankov iz revije Elektrotehniški vestnik najbolje obneseta metodi TF-IDF in YAKE!. Sledi TextRank. Podobno se obneseta metodi z vložitvami, najslabše pa se obnese metoda RAKE." spremeniti oziroma osvežiti?

[ajdapretnar]

Če prav vidim, zgornja trditev še vedno velja. Ali govorimo o 04_07_specific_words_comparison_el_vestnik.ipynb?

[BlazZupan]

Se opravičujem, tule je prišla do izraza moja delna barvna slepota. Kar pomeni, da bi bilo dobro nekaj spremeniti v grafih. Kasneje, ni nujno, ampak pri člankih pa prav gotovo. YAKE in TF-IDF sta torej najboljša, in to konsistentno. Premisliti bo potrebno še o uporabi nadpomenk, kjer bo problem slovenščina. O tem bi razmišljali drugje.