parsear output do PALAVRAS e fazer triplas APPOS

[arademaker]

Assumindo que iremos produzir triplas simplificadas, só mostrando os tokens ligados, teremos que produzir algo equivalente também para os conllu , tornando assim a lista de triplas comparáveis certo?

[odanoburu]

@arademaker , não sei se entendi bem o que vc falou. me corrija se estiver errado, mas a ideia em fazer um parser do formato .role dentro da biblio hs-conllu seria conseguir aproveitar as mesmas estruturas de dados, de modo que poderia usar o mesmo código de geração de triplas pros arquivos .conllu e pros .role

[odanoburu]

@claudiafreitas @suemi-higuchi como vcs viram no email, enviei o resultado comparando o output do UDPipe ao golden, e agora queria fazer o mesmo para o PALAVRAS. para refrescar minha memória e discutir o que fazer:

nessa issue parece que tínhamos combinado de fazer a comparação manualmente olhando as triplas, certo? (mas como saber quem é head de quem nas triplas?) a princípio não teria problema em rodar código semelhante ao do UDPipe no PALAVRAS, mas há muitas diferenças de segmentação, e sem o pareamento manual das sentenças por sent_id (que não tem no PALAVRAS), acho que o resultado ficaria muito comprometido (i.e., classificaríamos um número muito menor de appos do que no UDPipe, e isso com algum trabalho manual de correção dos arquivos do PALAVRAS, que vem sempre com erros)

nesse contexto, qual o melhor caminho a seguir?

[suemi-higuchi]

@odanoburu , o que eu me lembro é que vocês iam tentar me dar triplas simples de ambos para checar manualmente. Por ex., nós teríamos no golden: appos (Distrito, Rio) e eu compararia com a tripla do Palavras: app ou npred (Distrito=Federal, Rio=de=Janeiro). Ou algo assim. Por conta da segmentação diferente, muito teria que ser visto na intuição.

[suemi-higuchi]

Com isso a gente consegue fazer a mesma análise do UDPipe, certo? Ou seja, ao comparar as triplas do Palavras com as triplas do golden conseguimos identificar 1) os casos corretos, 2) os casos em que deveria ter aposto mas não tem, 3) os casos que não deveria ter mas tem.

Mas estou na dúvida sobre os outros dois casos de erros parciais (quando erra no deprel e acerta no head e quando erra no head e acerta no deprel)... A gente vai conseguir identificar?

[odanoburu]

Com isso a gente consegue fazer a mesma análise do UDPipe, certo? Ou seja, ao comparar as triplas do Palavras com as triplas do golden conseguimos identificar 1) os casos corretos, 2) os casos em que deveria ter aposto mas não tem, 3) os casos que não deveria ter mas tem.

acho que sim, mas tb acho que daria muito trabalho...

Mas estou na dúvida sobre os outros dois casos de erros parciais (quando erra no deprel e acerta no head e quando erra no head e acerta no deprel)... A gente vai conseguir identificar?

exato, não vamos! por isso que fiquei com a impressão de que talvez não fosse uma boa colocar no mesmo nível da análise do UDPipe... não vamos ter o mesmo número de casos, e os casos passíveis de análise serão diferentes. as duas análises não vão ser comparáveis.

por isso queria a opinião de vocês: vale seguir adiante agora?

[suemi-higuchi]

Bom, se por esse caminho não vamos ter análises comparáveis, então acho que só há um jeito: comparar tudo manualmente, como a Cláudia havia sugerido a princípio. Vou começar aqui para ver o trabalho que dá.

[odanoburu]

@suemi-higuchi vc pretende mudar a análise? se não, a comparação udp/udp é essa mesmo, não precisa (re)fazer manualmente...

a outra sim, acaba tendo de ser feita manualmente..

[suemi-higuchi]

Mudar a análise? Não... estava pensando na comparação palavras/golden-udp seguindo aqueles casos que listamos, além dos erros parciais. Se vai ser realmente possível fazer isso, não tenho certeza, mas tem outro jeito? São estes os dados para avaliarmos qualitativamente as saídas dos parsers, certo?

[odanoburu]

fechando pq combinamos não mais fazer.