search

giellalt / bugzilla-dummy

0 stars 0 forks source link

hid 1 og 2 blir ikke generert (Bugzilla Bug 1730) #1894

Closed albbas closed 10 years ago

albbas commented 11 years ago

This issue was created automatically with bugzilla2github

Bugzilla Bug 1730

Date: 2013-10-17T23:13:52+02:00 From: Lene Antonsen <> To: Ryan Johnson <> CC: berit.nystad.eskonsipo, ciprian.gerstenberger, lene.antonsen, maja.l.kappfjell, sjur.n.moshagen, trond.trosterud

Last updated: 2014-01-13T00:34:45+01:00

albbas commented 11 years ago

Comment 8609

Date: 2013-10-17 23:13:52 +0200 From: Lene Antonsen <>

Denne bugen har Ryan og jeg diskutert, men skriver likevel bz på denne slik at vi kan følge den opp.

hid 1 og 2 blir ikke generert, f.eks. govledh. Lemmasøk fungerer i NDS, men ikke f.eks. 'gåvla'.

fstene i /opt/ fungerer slik de skal [lene@gtoahpa bin]$ lookup -flags mbTT -utf8 dict-sma.fst 0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>100% gåvla gåvla govledh+1+V+TV+Ind+Prs+Sg3

^C [lene@gtoahpa bin]$ lookup -flags mbTT -utf8 isma-dict.fst 0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>100% govledh+1+V+TV+Ind+Prs+Sg3 govledh+1+V+TV+Ind+Prs+Sg3 gåvla

I leksikonfilene brukes det hid="1" og hid="2"

I newinfra er denne endra til +Hom1 og +Hom2. Når vi kompilerer nye fst-er for dict i newinfra, må vi endre dette i leksikonet og Ryan i sine filer.

albbas commented 11 years ago

Comment 8623

Date: 2013-10-18 19:39:23 +0200 From: Lene Antonsen <>

Jeg har nå kompilert i newinfra og copiert følgende over i /opt/smi/sma/bin/

analyser-dict-gt-desc.xfst <==== denne for analyse analyser-dict-gt-norm.xfst

generator-dict-gt-norm.xfst <==== denne for generering

Jeg foreslår at vi bruker desc for analyse for å kunne kjenne igjen flere unormerte former. Jeg endrer nå taggene i leksikonfilene til +Hom1 og +Hom2

albbas commented 11 years ago

Comment 8624

Date: 2013-10-18 19:44:52 +0200 From: Lene Antonsen <>

Slik ser det ut:

$ lookup -flags mbTT -utf8 analyser-dict-gt-desc.xfst 0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>100% gåvla gåvla govledh+Hom1+V+TV+Ind+Prs+Sg3

^C $ lookup -flags mbTT -utf8 generator-dict-gt-norm.xfst 0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 100% govledh+Hom1+V+TV+Ind+Prs+Sg3 govledh+Hom1+V+TV+Ind+Prs+Sg3 gåvla

albbas commented 10 years ago

Comment 8736

Date: 2013-12-09 02:34:56 +0100 From: Ryan Johnson <>

(In reply to comment #2)

Slik ser det ut:

$ lookup -flags mbTT -utf8 analyser-dict-gt-desc.xfst 0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>100% gåvla gåvla govledh+Hom1+V+TV+Ind+Prs+Sg3

^C $ lookup -flags mbTT -utf8 generator-dict-gt-norm.xfst 0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 100% govledh+Hom1+V+TV+Ind+Prs+Sg3 govledh+Hom1+V+TV+Ind+Prs+Sg3 gåvla

Hei,

Kanksje på grunn av ei endring eg gjorde, får eg ikkje dette til å fungera, men når eg lagar ein override i src/Makefile.am som ser ut slik som den fylgjande, fungerar det... Eg fekk det ikkje til på noko anna vis. Eg kan halda fram med å implementera fiksen som gjer desse synlege i NDS, men løysing trengst framleis i korleis generatoren vert byggd.

Ryan: for some reason this only works with .tmp., yet I thought I have

to compile to the actual target if it's a local override?

#

Dict-fst local modifications and language-specific changes:

generator-dict-gt-norm.tmp.xfst: analyser-raw-gt-desc.xfst \ filters/make-optional-transitivity-tags.xfst \ filters/make-optional-variant-tags.xfst \ filters/remove-derivation-position-tags.xfst \ filters/remove-dialect-tags.xfst \ filters/remove-hyphenation-marks.xfst \ filters/remove-infl_deriv-borders.xfst \ filters/remove-word-boundary.xfst \ filters/remove-norm-comp-tags.xfst \ filters/remove-number-string-tags.xfst \ filters/remove-usage-tags.xfst \ filters/remove-orthography-tags.xfst \ filters/remove-Orth_IPA-strings.xfst \ filters/remove-sub-forms.xfst $(AM_V_GEN)$(PRINTF) "read regex \ @\"filters/make-optional-transitivity-tags.xfst\" \ .o. @\"filters/make-optional-variant-tags.xfst\" \ .o. @\"filters/remove-derivation-position-tags.xfst\" \ .o. @\"filters/remove-dialect-tags.xfst\" \ .o. @\"filters/remove-norm-comp-tags.xfst\" \ .o. @\"filters/remove-number-string-tags.xfst\" \ .o. @\"filters/remove-usage-tags.xfst\" \ .o. @\"filters/remove-sub-forms.xfst\" \ .o. @\"filters/remove-orthography-tags.xfst\" \ .o. @\"filters/remove-Orth_IPA-strings.xfst\" \ .o. @\"$<\" \ .o. @\"filters/remove-hyphenation-marks.xfst\" \ .o. @\"filters/remove-infl_deriv-borders.xfst\" \ .o. @\"filters/remove-word-boundary.xfst\" \ ;\n\ invert net\n\ save stack $@\n\ quit\n" | $(XFST)

albbas commented 10 years ago

Comment 8737

Date: 2013-12-09 03:05:25 +0100 From: Ryan Johnson <>

Hei,

Det ser ut som koden fungerar allerede, i opt no ser eg gamle +1 og +2. Hev oppdatert ein del ting med byggjeprossess innan NDS. Når me får sma til å kompilera, so trur eg at det fungerar att. Viss dette med Makefile.am ser riktig ut, eg kan sjekke inn. Eg mest kopiert det som sto til oahpa-analyserar, som ser ut til å vera nesten i samme form som det som trengst til dict.

albbas commented 10 years ago

Comment 8753

Date: 2013-12-13 00:40:10 +0100 From: Ryan Johnson <>

Eg oppdaterar gtoahpa no med dei nyaste endringane til baakoeh. So får me snart hid. :)

albbas commented 10 years ago

Comment 8754

Date: 2013-12-13 00:59:22 +0100 From: Ryan Johnson <>

Hei,

Det ser ut som eg mista noko viktig: generasjon fungerar bra, men då er det vanskeleg med oppslag. Eg får ogso govledh+Hom1 og govledh+Hom2 til å generera, men ikkje svijredh+Hom1 og svijredh+Hom2. Skal testa litt meir og få det løyst no.

albbas commented 10 years ago

Comment 8755

Date: 2013-12-13 08:08:20 +0100 From: Lene Antonsen <>

Jeg synes det er en fornuftig arbeidsfordeling at vi (jeg) sørger for at fstene fungerer som de skal, og så lager du sti til fstene i /opt/.

Jeg har nå testa fstene i /opt/smi/sma/bin/ på gtoahpa-serveren. De blei kompilert 18. oktober. De gir følgende resultat:

[lene@gtoahpa ~]$ lookup -flags mbTT /opt/smi/sma/bin/analyser-dict-gt-desc.xfst 0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>100% gåvla gåvla govledh+Hom1+V+TV+Ind+Prs+Sg3

svæjra svæjra svijredh+V+IV+Ind+Prs+Sg3

svijrie svijrie svijredh+V+IV+Ind+Prs+Sg3

[lene@gtoahpa ~]$ lookup -flags mbTT /opt/smi/sma/bin/generator-dict-gt-norm.xfst 0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 100%

govledh+Hom1+V+TV+Ind+Prs+Sg3 govledh+Hom1+V+TV+Ind+Prs+Sg3 gåvla

svijredh+Hom1+V+Ind+Prs+Sg3 svijredh+Hom1+V+Ind+Prs+Sg3 svijredh+Hom1+V+Ind+Prs+Sg3 +?

svijredh+V+IV+Ind+Prs+Sg3 svijredh+V+IV+Ind+Prs+Sg3 svijredh+V+IV+Ind+Prs+Sg3 +?

Her ser vi at svijredh ikke er merka med Hom1 og Hom2 i kildefilen. Dessuten funket ikke genereringa. Noe har skjedd i den perioden fstene blei kompilert. Jeg skal legge til Hom-tagger og kompilere nye fster i løpet av dagen.

albbas commented 10 years ago

Comment 8756

Date: 2013-12-13 14:38:06 +0100 From: Lene Antonsen <>

Updated to revision 85191. stems$ svn ci -m "Fjerna Use/NG fra svijredh og la til Hom1 og Hom2, som var forsvunnet" verbs.lexc Sending verbs.lexc Transmitting file data . Committed revision 85192. Skal kompilere seinere.

albbas commented 10 years ago

Comment 8757

Date: 2013-12-13 20:10:25 +0100 From: Ryan Johnson <>

(In reply to comment #7)

Jeg synes det er en fornuftig arbeidsfordeling at vi (jeg) sørger for at fstene fungerer som de skal, og så lager du sti til fstene i /opt/.

Høyrest bra ut. Eg endra ein del i kompileringsprosess i NDS, slik at når ein på gtweb skal kompilera FST og ordboka (som trengst slik at utviklingsarbeid er lettare for Jaska og andre), får ein gjera det utan å forstyrre andre FSTar-- so skifta eg til dict-FSTar. Eg endrar stiar slik at me nyttar desse:

/opt/smi/sma/bin/analyser-dict-gt-desc.xfst /opt/smi/sma/bin/generator-dict-gt-norm.xfst

Eg kan ogso ta bort FST-kompilering som ein del av den automatiske prosessen til baakoeh og sánit (eller, det med fab kommando), viss det betyr at me alle hev betre kontroll på det som eksisterar. Med ordbøker på gtweb då, eg vil heller at Jaska kan kompilera på eiga hånd.

albbas commented 10 years ago

Comment 8765

Date: 2013-12-16 00:31:23 +0100 From: Lene Antonsen <>

Jeg har gjort endringer i lexc slik at alle ord genereres bortsett fra baakoegietjie og biejjievælloe som muligens skal fjernes fra dict.

Jeg har koordinert Hom1 og Hom2 mellom lexc og dictfila (v_smanob). Jeg har kompilert nye fster som jeg har kopiert over i /opt/smi/sma/bin/: generator-dict-gt-norm.xfst analyser-dict-gt-desc.xfst

Og jeg har testa. Alt ser bra ut. Så nå burde ordbokgenereringa og analysen fungere.

albbas commented 10 years ago

Comment 8769

Date: 2013-12-16 13:43:28 +0100 From: Lene Antonsen <>

Hei, jeg glemte at det er en sak som ikke er løst enda, nemlig at noen former forsvinner pga Use/NG-tagg-filterering. Denne må jeg løse i samarbeid med Sjur.

albbas commented 10 years ago

Comment 8794

Date: 2013-12-19 01:11:33 +0100 From: Lene Antonsen <>

Endelig er alt løst, etter masse arbeid fra Trond (endring av filtre etc):

[lene@gtoahpa ~]$ lookup -flags mbTT /opt/smi/sma/bin/generator-dict-gt-norm.xfst 0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>100% kuvsje+N+Pl+Nom kuvsje+N+Pl+Nom kuvsjh kuvsje+N+Pl+Nom kuvsjeh

govledh+Hom1+V+Inf govledh+Hom1+V+Inf govledh

govledh+Hom2+V+Inf govledh+Hom2+V+Inf govledh

Så nå kan du fortsette med arbeidet her, Ryan :-)

albbas commented 10 years ago

Comment 8842

Date: 2014-01-07 23:27:41 +0100 From: Ryan Johnson <>

Hei!

Det såg ut som eg hadde feil sti i konfigurasjonsfile, men eg fiksa det og nå får me generert Hom1 og Hom2.

http://baakoeh.oahpa.no/detail/sma/nob/svijredh.html

Det ser ut som svijredh+Hom2 får ikkje kontekst, men det fikser eg straks. Du kan lukke buggen viss alt er i orden. :)

albbas commented 10 years ago

Comment 8898

Date: 2014-01-12 21:01:06 +0100 From: Lene Antonsen <>

Problemet er ikke helt løst enda. Jeg tester med 'govledh' som skal gi to oversettinger: høre Hom1 og høres Hom2

<e usage="dict">
  <lg>
   <l class="IV" hid="Hom1" p3p="gåvla" pos="V" stem="2syll" type="TV" umlaut="D">govledh</l>
  </lg>
  <stem class="bisyllabic" />
  <mg>
     <tg xml:lang="nob">
        <t pos="V">høre</t>
        <xg>
           <x>Dïhte gåvla.</x>
           <xt>Han hører.</xt>
        </xg>
     </tg>
   </mg>

govledh høres Govloe goh dïhte lea båateme. Det høres ut som om han har kommet.

Jeg får bare presentert den første i NDS.

fsten ser ut til å være ok

[lene@gtoahpa ~]$ lookup /opt/smi/sma/bin/generator-dict-gt-norm.xfst 0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>100%

LEXICON LOOK-UP

govledh+Hom2+V+Inf govledh+Hom2+V+Inf govledh

govledh+Hom1+V+Inf govledh+Hom1+V+Inf govledh

albbas commented 10 years ago

Comment 8908

Date: 2014-01-12 23:18:25 +0100 From: Ryan Johnson <>

Eg fiksa eit par ting i paradigmefiler, valens var til stades, og det ikkje burde vera (noko eg gløymde å gjera etter eg var ferdig med testing på paradigmen), nå ser eg både ord, generert med kontekst:

http://baakoeh.oahpa.no/detail/sma/nob/govledh.html

R