depender.py / postProcess.sh - Finna varanlega lausn á “None” í CoNLL-U úttaki

[hinrikur]

Allir dálkar eru None:

Tekið út með sed skipun núna (þar sem kemur bara en þyrfti að koma í veg fyrir að það skrifist inn yfir höfuð, sem er í depender.py. Ekki almennilega ljóst hvað veldur þessu en líklega einhvers konar artifact úr conversion ferlinu.

Vensl eru None:

Einhverra hluta vegna fá sumir venslahausar ekki tölu heldur haldast sem None. Lagað (tímabundið) með eftirfarandi:

self.nodes = defaultdict(lambda:  {'address': None,
                                   'word': None,
                                   'lemma': None,
                                   'ctag': None,    # upostag
                                   'tag': None,     # xpostag
                                   'feats': None,
                                   'head': '_', # None, # TODO: find permanent fix!
                                   'deps': defaultdict(list),
                                   'rel': None,
                                   })

Default hausinn er merktur með '_' streng, sem pyconll nær að lesa en virkar líklega ekki í UD validation skriptunum

[hinrikur]

Úttakssetning með þessari villu (dæmi): Sjá línu 8 þar sem vantar haus (var None fyrir tímabundnu lagfæringarnar að ofan)

# sent_id = 1450.bandamenn.nar-sag.psd_205_22056
1   en  en  CCONJ   CONJ    _   5   cc  _   c
2   móðir   móðir   NOUN    N-N Case=Nom|Number=Sing|Definite=Ind|Gender=Fem    5   nsubj   _   nven
3   hans    hann    PRON    PRO-G   Case=Gen|Number=Sing|Gender=Masc|PronType=Prs   2   nmod:poss   _   fpkee
4   var vera    AUX BEDI    Number=Sing|Mood=Ind|Tense=Past|VerbForm=Fin|Voice=Act|Person=3 5   cop _   sfg3eþ
5   Þorgerður   þorgerður   PROPN   NPR-N   Case=Nom|Number=Sing|Definite=Ind|Gender=Fem    0   root    _   nven-s
6   dóttir  dóttir  NOUN    N-N Case=Nom|Number=Sing|Definite=Ind|Gender=Fem    5   appos   _   nven
7   Egils   egill   PROPN   NPR-G   Case=Gen|Number=Sing|Definite=Ind|Gender=Masc   6   nmod:poss   _   nkee-s
8   Skalla-Grímssonar   skallagrímsson  PROPN   NPR-G   Case=Gen|Number=Sing|Definite=Ind|Gender=Masc   _   _   _   nkee-s
9   Kveldúlfssonar  kveldúlfsson    PROPN   NPR-G   Case=Gen|Number=Sing|Definite=Ind|Gender=Masc   7   nmod:poss   _   nkee-s
10  .   .   PUNCT   .   _   5   punct   _   .

[hinrikur]

Það var if-statement vesen sem orsakaði þetta. Línar lúkkar svona núna:

if re.match("IP-MAT|IP-MAT-[^=].*|INTJP|FRAG|CP-QUE-SPE|IP-IMP-SPE[^=1]|QTP|CODE|LATIN|TRANSLATION|META|IP-IMP|CP-QUE|CP-EXL|CP-THT", head_tag):  #todo root phrase types from config
    self.dg.get_by_address(mod_nr).update({'head': 0, 'rel': 'root'})  #todo copula not a head
    self.dg.root = self.dg.get_by_address(mod_nr)
else:
    # TEMP: This is most likely why "None" is popping up in the output
    self.dg.get_by_address(mod_nr).update({'head': head_nr, 'rel': '***'})
    self.dg.root = self.dg.get_by_address(mod_nr)

else klausan merkir orðið með sínu eigin númeri sem venslahaus og *** sem venslagerð. Þá er hægt að finna það auðveldlega til að lagfæra / debugga

[hinrikur]

None líklega farið úr úttakinu sem síkt. Lokað

[hinrikur]

None er tekið út en á sumum stöðum er rel merkt sem ***.

Með leitarstrengnum grep '\*\*\*' CoNLLU_output/* | wc -l eru 2507 línur merktar svona.

Þetta eru línur þar sem engin venslagerð fannst. Þarf að bæta inn í rules.py

Kóði sem orsakar:

else:
       # TEMP: This is most likely why "None" is popping up in the output
       self.dg.get_by_address(mod_nr).update({'head': head_nr, 'rel': '***'})
       self.dg.root = self.dg.get_by_address(mod_nr)