albbas
commented
7 years ago Comment 12145
Date: 2017-03-12 09:58:47 +0100
From: Lene Antonsen <
Kompileringa av sme tar veldig lang tid no, spesielt etter de siste forbedringene i taggflytting. Hvis jeg har forstått det rett, så er det antall ordformer som krever taggflytting som tar tid?
Vi burde se på muligheter for å forkorte tida, her er et forslag fra meg, som kanskje har noe for seg, kanskje ikke:
Vi kunne gjøre slik som for propernoun, dvs at for de mest frekvente kombinasjonene av tagg og fortsettelsenleksikonene lages egne forts.leksikoner, f.eks. GOAHTI-A-hum, og at +Sem/Hum da legges til direkte i affix-fila: +N+Sem/Hum, evt +N+NomAg+Sem/Hum som så sendes videre til neste fortsettelsesleksikon for morfologi.
Sem/Dummytag og Sem/Hum dominerer både for substantiver og adjektiver, så disse to ville være kandidater:
grep 'Sem/' src/morphology/stems/nouns.lexc | tr '+:' '\n' | grep Sem |sort | uniq -c | sort -nr 20344 Sem/Dummytag 10132 Sem/Hum 4563 Sem/Org
grep 'Sem/' src/morphology/stems/adjectives.lexc | tr '+:' '\n' | grep Sem |sort | uniq -c | sort -nr 5617 Sem/Dummytag 3543 Sem/Hum 66 Sem/Plc
Fordelinga av Sem/Dummytag og Sem/Hum på fortsettelsesleksikoner:
grep 'Sem/Dummy' src/morphology/stems/nouns.lexc | sed 's/% /%/g' |tr -s ' ' | cut -d ' ' -f2 |sort | uniq -c | sort -nr |less 4146 GOAHTI-A 2489 JOHTOLAT 1681 GOAHTI-U 1614 GOAHTI-I 1595 LUONDU 1112 AIGI 1017 GAHPIR 630 MALIS ...
grep 'Sem/Hum' src/morphology/stems/nouns.lexc | sed 's/% /%/g' |tr -s ' ' | cut -d ' ' -f2 |sort | uniq -c | sort -nr |less 1942 GOAHTI-A 1833 ACTOR 1220 EADDJI-NomAg 722 GAHPIRLONG 700 JOHTOLAT 588 FALIS ...
grep 'Sem/Dummy' src/morphology/stems/adjectives.lexc | sed 's/% /%/g' |tr -s ' ' | cut -d ' ' -f2 |sort | uniq -c | sort -nr |less 754 ETNOLOGALAS 594 AGAdj 474 AHKASAS 287 DABALAS ...
grep 'Sem/Hum' src/morphology/stems/adjectives.lexc | sed 's/% /%/g' |tr -s ' ' | cut -d ' ' -f2 |sort | uniq -c | sort -nr |less 488 AHKASAS 421 AGAdj 248 JEAGOHEAPMI 213 BOAKKAS 173 EADDJI ...
This issue was created automatically with bugzilla2github
Bugzilla Bug 2355
Date: 2017-03-12T09:58:47+01:00 From: Lene Antonsen <>
To: Sjur Nørstebø Moshagen <>
CC: linda.wiechetek, thomas.omma, trond.trosterud
Last updated: 2018-09-27T14:54:54+02:00