CompLin / nheengatu

Tools and resources for the computational processing of Nheengatu (Modern Tupi)
7 stars 1 forks source link

corrigir erros de palavra desconhecida #55

Open leoalenc opened 2 years ago

leoalenc commented 2 years ago

Erros de palavra desconhecida nos textos etiquetados do corpus compilado a partir de Navarro (2016):

gr -ho "[^[:space:]]+/\?\?\?" *[0-9][0-9]-pos.txt | sort | uniq -c | sort -nr

9 yawé/??? 8 reyúri/??? 7 Compadre/??? 4 ayúri/??? 4 amú-itá/??? 3 yambeú-kwáu/??? 3 kuri/??? 2 waá-itá/??? 2 wã/??? 2 uyuyuká/??? 2 uyukupiri/??? 2 usú-putari/??? 2 ukapiri/??? 2 tupauku/??? 2 sumuara-kunhã/??? 2 Sapukaya-apigawa/??? 2 ruí/??? 2 reyúka/??? 2 real/??? 2 poh/??? 2 penhé/??? 2 nheengarisararana/??? 2 mamentu/??? 2 amukwesé/??? 1 yawewera/??? 1 Yawé/??? 1 yambué-kwáu/??? 1 yakumãme/??? 1 xe/??? 1 witá/??? 1 Watarampuá/??? 1 uyupiri-kwáu/??? 1 uyumusurí-kwáu/??? 1 uyumundú/??? 1 uyumumurã/??? 1 uyumaãwera/??? 1 uyuká-yuká/??? 1 Uyenũ-yuíri/??? 1 utuká-tuká/??? 1 usu/??? 1 Usika-pawa/??? 1 usepimeẽ/??? 1 upurungitá-kwáu/??? 1 Upukwari/??? 1 upuká-puká/??? 1 upuẽ-puẽ/??? 1 upitá-putari/??? 1 Upisí-pisika/??? 1 upiripana-putari/??? 1 upinaitikawera/??? 1 unheẽwera/??? 1 unheengariwera/??? 1 unhana/??? 1 umundawera/??? 1 umukwekatu/??? 1 umeẽ-kwáu/??? 1 umanú/??? 1 umanhana/??? 1 ukupí-kupiri/??? 1 ukiri-kwáu/??? 1 ukaú-kaú/??? 1 ú/??? 1 tukunaré/??? 1 tuí/??? 1 Tik/??? 1 tĩ/??? 1 Ti/??? 1 tatatingawasú/??? 1 Taria-itá/??? 1 taité/??? 1 ta/??? 1 suri/??? 1 supé../??? 1 seẽíma/??? 1 rupitá-itá/??? 1 rirewara/??? 1 Reyúri/??? 1 reyumusurí/??? 1 Reyeré-yeréu/??? 1 rẽukwáu/??? 1 retamawara/??? 1 resú-kwáu/??? 1 Resarú-kwáu/??? 1 remanú/??? 1 purã-puranga/??? 1 purangamirĩ/??? 1 “puranga/??? 1 purakisawaíma/??? 1 pukú-pukú/??? 1 piterarupí../??? 1 pisãwera/??? 1 Pewapikantu/??? 1 pé../??? 1 Paranãme/??? 1 paranãme/??? 1 panhẽuka/??? 1 Panhẽsuú/??? 1 panhẽsuú/??? 1 panhē/??? 1 paá,urubú/??? 1 niti/??? 1 nhũ/??? 1 nhaã-itá/??? 1 nhaá/??? 1 mũyara/??? 1 murakisara/??? 1 Mukũi-itá/??? 1 mirá-itawasú/??? 1 mbauíma/??? 1 makú/??? 1 Maãyawé/??? 1 Má/??? 1 Kwá-itá/??? 1 kurumiwasú/??? 1 kiwira/??? 1 kiinhaíma/??? 1 kawĩrana/??? 1 José/??? 1 Joana/??? 1 Iwakape/??? 1 Iwaka-pe/??? 1 iwá/??? 1 iurá/??? 1 ira/??? 1 gantĩme/??? 1 Eh/??? 1 Ee/??? 1 compadre/??? 1 ayuyuká/??? 1 Ayuyeréu/??? 1 ayuseruka/??? 1 Ayúri/??? 1 Asuiwara/??? 1 ara”/??? 1 anhũresú/??? 1 Amunhã-pawa/??? 1 Amaã-putari/??? 1 Ah!/???

leoalenc commented 2 years ago

Análise dos erros

Classificação

  1. construções com auxiliares, por exemplo, putari e kwáu
  2. interjeições
  3. formas dos verbos yuka e yuri acentuadas (ver #28)
  4. nomes próprios
  5. termos em português (compadre)
  6. compostos com -apigawa e -kunhã (ver #46)
  7. sinais de pontuação (aspas, vírgula, reticências "quebradas")
  8. negação niti
  9. forma pukú-pukú
  10. plural com -itá de pronomes
  11. formas com vogal oral em vez de nasal (penhé)
  12. derivados com sufixos produtivos (-ína)
leoalenc commented 2 years ago

Após os últimos commits, a lista de erros reduziu-se:

gr -ho "[^[:space:]]+/\?\?\?" *[0-9][0-9]-pos.txt | sort | uniq -c | sort -nr

7 Compadre/??? 3 yambeú-kwáu/??? 3 kuri/??? 2 wã/??? 2 uyuyuká/??? 2 uyukupiri/??? 2 usú-putari/??? 2 ukapiri/??? 2 tupauku/??? 2 sumuara-kunhã/??? 2 Sapukaya-apigawa/??? 2 ruí/??? 2 real/??? 2 poh/??? 2 penhé/??? 2 nheengarisararana/??? 2 mamentu/??? 2 amukwesé/??? 1 yawewera/??? 1 yambué-kwáu/??? 1 yakumãme/??? 1 xe/??? 1 witá/??? 1 Watarampuá/??? 1 uyupiri-kwáu/??? 1 uyumusurí-kwáu/??? 1 uyumundú/??? 1 uyumumurã/??? 1 uyumaãwera/??? 1 uyuká-yuká/??? 1 Uyenũ-yuíri/??? 1 utuká-tuká/??? 1 usu/??? 1 Usika-pawa/??? 1 usepimeẽ/??? 1 upurungitá-kwáu/??? 1 Upukwari/??? 1 upuká-puká/??? 1 upuẽ-puẽ/??? 1 upitá-putari/??? 1 Upisí-pisika/??? 1 upiripana-putari/??? 1 upinaitikawera/??? 1 unheẽwera/??? 1 unheengariwera/??? 1 unhana/??? 1 umundawera/??? 1 umukwekatu/??? 1 umeẽ-kwáu/??? 1 umanú/??? 1 umanhana/??? 1 ukupí-kupiri/??? 1 ukiri-kwáu/??? 1 ukaú-kaú/??? 1 ú/??? 1 tukunaré/??? 1 tuí/??? 1 Tik/??? 1 tĩ/??? 1 Ti/??? 1 tatatingawasú/??? 1 Taria-itá/??? 1 taité/??? 1 ta/??? 1 suri/??? 1 seẽíma/??? 1 rirewara/??? 1 reyumusurí/??? 1 Reyeré-yeréu/??? 1 rẽukwáu/??? 1 retamawara/??? 1 resú-kwáu/??? 1 Resarú-kwáu/??? 1 remanú/??? 1 purã-puranga/??? 1 purangamirĩ/??? 1 purakisawaíma/??? 1 pukú-pukú/??? 1 pisãwera/??? 1 Pewapikantu/??? 1 Paranãme/??? 1 paranãme/??? 1 panhẽuka/??? 1 Panhẽsuú/??? 1 panhẽsuú/??? 1 panhē/??? 1 paá,urubú/??? 1 nhũ/??? 1 nhaá/??? 1 mũyara/??? 1 murakisara/??? 1 mirá-itawasú/??? 1 mbauíma/??? 1 makú/??? 1 Maãyawé/??? 1 Má/??? 1 kurumiwasú/??? 1 kiwira/??? 1 kiinhaíma/??? 1 kawĩrana/??? 1 Iwakape/??? 1 Iwaka-pe/??? 1 iwá/??? 1 iurá/??? 1 ira/??? 1 gantĩme/??? 1 Eh/??? 1 Ee/??? 1 compadre/??? 1 ayuyuká/??? 1 Ayuyeréu/??? 1 ayuseruka/??? 1 Asuiwara/??? 1 anhũresú/??? 1 Amunhã-pawa/??? 1 Amaã-putari/??? 1 Ah/???

leoalenc commented 2 years ago

Nova redução do número de erros com https://github.com/CompLin/nheengatu/commit/ec18350223711649dd5ef4638840275aa6905d66:

gr -ho "[^[:space:]]+/\?\?\?" *[0-9]-pos.txt | sort | uniq -c | sort -nr

7 Compadre/??? 3 yambeú-kwáu/??? 2 uyuyuká/??? 2 uyukupiri/??? 2 usú-putari/??? 2 ukapiri/??? 2 tupauku/??? 2 sumuara-kunhã/??? 2 Sapukaya-apigawa/??? 2 real/??? 2 poh/??? 2 penhé/??? 2 nheengarisararana/??? 2 mamentu/??? 2 amukwesé/??? 1 yawewera/??? 1 yambué-kwáu/??? 1 yakumãme/??? 1 Watarampuá/??? 1 uyupiri-kwáu/??? 1 uyumusurí-kwáu/??? 1 uyumundú/??? 1 uyumumurã/??? 1 uyumaãwera/??? 1 uyuká-yuká/??? 1 Uyenũ-yuíri/??? 1 utuká-tuká/??? 1 Usika-pawa/??? 1 usepimeẽ/??? 1 upurungitá-kwáu/??? 1 Upukwari/??? 1 upuká-puká/??? 1 upuẽ-puẽ/??? 1 upitá-putari/??? 1 Upisí-pisika/??? 1 upiripana-putari/??? 1 upinaitikawera/??? 1 unheẽwera/??? 1 unheengariwera/??? 1 unhana/??? 1 umundawera/??? 1 umukwekatu/??? 1 umeẽ-kwáu/??? 1 umanú/??? 1 umanhana/??? 1 ukupí-kupiri/??? 1 ukiri-kwáu/??? 1 ukaú-kaú/??? 1 tukunaré/??? 1 tĩ/??? 1 tatatingawasú/??? 1 Taria-itá/??? 1 ta/??? 1 suri/??? 1 seẽíma/??? 1 rirewara/??? 1 reyumusurí/??? 1 Reyeré-yeréu/??? 1 rẽukwáu/??? 1 retamawara/??? 1 resú-kwáu/??? 1 Resarú-kwáu/??? 1 remanú/??? 1 purã-puranga/??? 1 purangamirĩ/??? 1 purakisawaíma/??? 1 pukú-pukú/??? 1 pisãwera/??? 1 Pewapikantu/??? 1 Paranãme/??? 1 paranãme/??? 1 panhẽuka/??? 1 Panhẽsuú/??? 1 panhẽsuú/??? 1 panhē/??? 1 nhũ/??? 1 nhaá/??? 1 mũyara/??? 1 murakisara/??? 1 mirá-itawasú/??? 1 mbauíma/??? 1 Maãyawé/??? 1 Má/??? 1 kurumiwasú/??? 1 kiwira/??? 1 kiinhaíma/??? 1 kawĩrana/??? 1 Iwakape/??? 1 Iwaka-pe/??? 1 iwá/??? 1 ira/??? 1 gantĩme/??? 1 Ee/??? 1 compadre/??? 1 ayuyuká/??? 1 Ayuyeréu/??? 1 ayuseruka/??? 1 Asuiwara/??? 1 anhũresú/??? 1 Amunhã-pawa/??? 1 Amaã-putari/???

leoalenc commented 2 years ago

Mais uma redução do número de erros com os últimos commits:

7 Compadre/??? 4 umanũ/??? 3 yambeú-kwáu/??? 2 uyuyuká/??? 2 uyukupiri/??? 2 usú-putari/??? 2 sumuara-kunhã/??? 2 Sapukaya-apigawa/??? 2 real/??? 2 penhé/??? 2 nheengarisararana/??? 2 amukwesé/??? 1 yawewera/??? 1 yambué-kwáu/??? 1 yakumãme/??? 1 Watarampuá/??? 1 uyupiri-kwáu/??? 1 uyumusurí-kwáu/??? 1 uyumundú/??? 1 uyumumurã/??? 1 uyumaãwera/??? 1 uyuká-yuká/??? 1 Uyenũ-yuíri/??? 1 utuká-tuká/??? 1 Usika-pawa/??? 1 usepimeẽ/??? 1 upurungitá-kwáu/??? 1 Upukwari/??? 1 upuká-puká/??? 1 upuẽ-puẽ/??? 1 upitá-putari/??? 1 Upisí-pisika/??? 1 upiripana-putari/??? 1 upinaitikawera/??? 1 unheẽwera/??? 1 unheengariwera/??? 1 umundawera/??? 1 umukwekatu/??? 1 umeẽ-kwáu/??? 1 ukupí-kupiri/??? 1 ukiri-kwáu/??? 1 ukaú-kaú/??? 1 tatatingawasú/??? 1 seẽíma/??? 1 rirewara/??? 1 reyumusurí/??? 1 Reyeré-yeréu/??? 1 retamawara/??? 1 resú-kwáu/??? 1 Resarú-kwáu/??? 1 remanũ/??? 1 purã-puranga/??? 1 purangamirĩ/??? 1 purakisawaíma/??? 1 pukú-pukú/??? 1 pisãwera/??? 1 Pewapikantu/??? 1 Paranãme/??? 1 paranãme/??? 1 panhẽuka/??? 1 Panhẽsuú/??? 1 panhẽsuú/??? 1 panhē/??? 1 nhũ/??? 1 nhaá/??? 1 mũyara/??? 1 murakisara/??? 1 mirá-itawasú/??? 1 mbauíma/??? 1 Maãyawé/??? 1 kurumiwasú/??? 1 kiwira/??? 1 kiinhaíma/??? 1 kawĩrana/??? 1 Iwakape/??? 1 Iwaka-pe/??? 1 iwá/??? 1 gantĩme/??? 1 Ee/??? 1 compadre/??? 1 ayuyuká/??? 1 Ayuyeréu/??? 1 ayuseruka/??? 1 Asuiwara/??? 1 anhũresú/??? 1 Amunhã-pawa/??? 1 amanũ/??? 1 Amaã-putari/???