Objetos duplicados na raspagem dos documentos

[anapaulagomes]

Alguns documentos estão duplicados na raspagem. Os testes foram feitos em uma amostra de 3674 itens (09/2020). Desses, 64 estavam duplicados.

Comando: scrapy crawl consulta_publica -a periodicidade=mensal -a competencia=09/2020 -o consulta-publica-09-2020.json

Exemplo: TERMO DE APOSTILAMENTO 023-2020-1123-3.pdf

Existem apenas um desse no portal (seguindo os parâmetros):

Itens duplicados:

{
    "category": "Documentos Adicionais",
    "filename": "abfd75c5-f600-4176-985d-5da0fa0e7ee0-TERMO DE APOSTILAMENTO 023-2020-1123-3.pdf",
    "original_filename": "TERMO DE APOSTILAMENTO 023-2020-1123-3.pdf",
    "inserted_by": "FLORIEDNA DA SILVA GOMES",
    "inserted_at": "20/10/2020",
    "unit": "Funda\u00e7\u00e3o Hospitalar de Feira de Santana",
    "crawled_at": "2021-04-09 03:42:49",
    "month": "09",
    "year": "2020",
    "period": "Mensal",
    "filepath": "/files/feira-de-santana/2020/mensal/09/Funda\u00e7\u00e3o Hospitalar de Feira de Santana/Documentos Adicionais/"
}

{
    "category": "Documentos Adicionais",
    "filename": "ff815183-b82c-49d6-84de-aef10b8968a9-TERMO DE APOSTILAMENTO 023-2020-1123-3.pdf",
    "original_filename": "TERMO DE APOSTILAMENTO 023-2020-1123-3.pdf",
    "inserted_by": "FLORIEDNA DA SILVA GOMES", 
    "inserted_at": "20/10/2020", 
    "unit": "Funda\u00e7\u00e3o Hospitalar de Feira de Santana", 
    "crawled_at": "2021-04-09 03:43:18", 
    "month": "09", 
    "year": "2020", 
    "period": "Mensal", 
    "filepath": "/files/feira-de-santana/2020/mensal/09/Funda\u00e7\u00e3o Hospitalar de Feira de Santana/Documentos Adicionais/"
}

[RaulBSantos]

Por que será que o filename está diferente?

[Laerte]

@RaulBSantos filename é gerado em tempo de execução, aqui:

https://github.com/DadosAbertosDeFeira/tcm-ba/blob/816b6074aeb135b1035c3e460b985b06ef6c30d3/tcmba/spiders/consulta_publica.py#L305