adanibello
commented
2 years ago Refinando a análise, identificamos algumas inconsistências que induziram ao erro em relação a essa questão específica das duplicatas:
- Uma das referências para identificação de entradas únicas havia sido a URL do DO. Isso, no entanto, desconsidera a possibilidade de haver mais de uma publicação de interesse em uma mesma edição. Usando o excerto como referência, a contagem de entradas únicas sobe para 2157/2330.
- Várias publicações (inclusive de uma mesma edição) traziam textos quase inteiramente idênticos, com exceção de informações pontuais, como o nome de uma entidade, um valor de contrato ou o número de vagas contratadas. Em alguns casos, esses itens estavam fora do excerto em destaque na base, o que exige que a publicação seja verificada diretamente na fonte -- o que não é um problema da busca, mas sim um ponto de atenção para nossa análise. Como tínhamos como referência a base gerada na etapa piloto e as duplicatas foram uma questão importante, direcionamos o olhar dessa forma. Mas a qualidade desses novos resultados, neste aspecto, avançou bastante e vamos incorporar este procedimento de, no caso de resultados parecerem iguais, conferir diretamente na fonte.
ogecece
DESCRIÇÃO: Durante a pré-análise da base de dados de resultados, foram identificadas entradas duplicadas. A análise será aprofundada para identificar as causas das duplicações e, para isso, é necessário apontar especificamente quais são as entradas repetidas.
OBJETIVO: Identificar e destacar a ocorrência de duplicatas no primeiro dataset gerado, a partir de uma amostra dos resultados.
DEFINIÇÃO DE PRONTO Amostra de duplicatas identificadas para subsidiar a investigação da equipe de IC.