UniversalDependencies / UD_Portuguese-Bosque

This Universal Dependencies (UD) Portuguese treebank.
Other
48 stars 11 forks source link

incorrect lemmatization of feminine adjectives #410

Closed leoalenc closed 1 year ago

leoalenc commented 2 years ago

Outro problema de lematização encontrado por meio do procedimento referido em #409:

grep -PhiC 10 "Europeia\teuropeia\tADJ" *.conllu
# sent_id = CP907-2
# source = CETEMPúblico n=907 sec=pol sem=92a
1   O   o   DET _   Definite=Def|Gender=Masc|Number=Sing|PronType=Art   2   det _   _
2   secretário  secretário  NOUN    _   Gender=Masc|Number=Sing 13  nsubj   _   _
3   de  de  ADP _   _   4   case    _   _
4   Estado  estado  NOUN    _   Gender=Masc|Number=Sing 2   nmod    _   _
5-6 da  _   _   _   _   _   _   _   _
5   de  de  ADP _   _   7   case    _   _
6   a   o   DET _   Definite=Def|Gender=Fem|Number=Sing|PronType=Art    7   det _   _
7   Integração  integração  NOUN    _   Gender=Fem|Number=Sing  4   nmod    _   _
8   Europeia    europeia    ADJ _   Gender=Fem|Number=Sing  7   amod    _   SpaceAfter=No

O lema deveria ser europeu, certo?

arademaker commented 2 years ago

Em 673b75045, resolvo este issue, generalizei um pouco a REGEX acima e peguei alguns outros casos. Usei

\t.+a\t.+a\tADJ

Mas mantemos bossa nova e guerra fria como NOUN ADJ e ADJ modificando NOUN? Se sim, então os lemas dos ADJ também precisam ser modificados para, por exemplo "novo", mantendo consistência.

@leoalenc, seu voto?

leoalenc commented 2 years ago

Em 673b750, resolvo este issue, generalizei um pouco a REGEX acima e peguei alguns outros casos. Usei

\t.+a\t.+a\tADJ

Mas mantemos bossa nova e guerra fria como NOUN ADJ e ADJ modificando NOUN? Se sim, então os lemmas dos ADJ também precisam ir para MASC mantendo consistência.

@leoalenc, seu voto?

@arademaker, concordo. Na verdade, é normal o lema do adjetivo nos casos acima estar numa forma idêntica à do masculino. Trata-se de mera convenção lexicográfica estabelecida pela tradição. Os lemos novo e frio, a rigor, não estão no masculino, pois lema não tem gênero, do mesmo modo que cantar como lema da forma cantou não está no infinitivo.

arademaker commented 1 year ago

Na verdade, é normal o lema do adjetivo nos casos acima estar numa forma idêntica à do masculino. Trata-se de mera convenção lexicográfica estabelecida pela tradição. Os lemos novo e frio, a rigor, não estão no masculino, pois lema não tem gênero, do mesmo modo que cantar como lema da forma cantou não está no infinitivo.

Corrigi meu comentário acima. Entendi seu ponto. De fato, obviamente, não me causava estranheza escolhermos a forma masculina do ADJ como "forma canônica" para representação da palavra, acompanhada das features. Meu texto anterior parecia indicar surpresa da minha parte.

arademaker commented 1 year ago

Em c317d88d0, corrigi mais um bloco de casos onde ADJ estavam incorretamente tematizados e, em alguns casos, palavras erroneamente classificadas como adj.