arademaker
commented
3 years ago Olhando alguns casos eu tenho uma hipótese. Parece que estes documentos que foram importados para o WKS foram anteriores a uma reorganização que fiz na geração dos arquivos RAW. Anteriormente, o RAW eram apenas o output a partir dos respectivos arquivos em https://github.com/cpdoc/dhbb/tree/master/text. Mas posteriormente, identificamos que algumas ferramentas de segmentação de sentenças se perdiam quando encontravam quebras de linhas dentro de frases, caso que ocorre , por exemplo, em
https://github.com/cpdoc/dhbb/blob/master/text/1005.text
A quebra de linha na coluna ~70-80 é neste caso desejável para facilitar a comparação entre versões dos arquivos no repositório DHBB. Linhas longas seriam difíceis de comparar. Formatando o texto em ~80 colunas, o diff entre versões é mais legível. Por exemplo:
Mas no RAW o que queremos é não ter quebras de linhas dentro de frases, logo o código https://github.com/cpdoc/dhbb-nlp/blob/master/raw/extract.awk#L33 cuida de juntar linhas consecutivas que tenham algum caracter diferente de espaço. Isto é, produzem um parágrafo por linha.
eu acho que importamos para o WKS versões RAW anteriormente a este novo processamento de juntar linhas do mesmo parágrafo.... Temos que identificar os arquivos que estão neste caso e talvez remove-los do WKS e substitui-los por novos arquivos RAW.
Então esta tarefa trata de identifica estes arquivos no wks/gt que tem conteúdo diferente do respectivo RAW.
wellington36
relacionado à tarefa https://github.com/cpdoc/test/issues/5
no commit 810e45650 introduz no repositório os arquivos golden do WKS. Identificamos uma diferença entre o 11262.raw e o conteúdo no wks/gt/0880fb70-d93b-11ea-bff2-05ea84f8fa50-0.json, arquivo referente ao 11262.raw importado para o WKS.
\nno início.