search

DadosAbertosDeFeira / maria-quiteria

Backend para coleta e disponibilização dos dados 📜
https://mq.dadosabertosdefeira.com.br/painel
MIT License
166 stars 69 forks source link

Lidar com arquivos compactados em licitações #13

Open anapaulagomes opened 4 years ago

anapaulagomes commented 4 years ago

Alguns arquivos de licitações são comprimidos, geralmente com o formato .rar ou .zip. O ideal é descompactar esses arquivos e acessar o conteúdo de seus PDFs.

Exemplo:

Vá para a página do Diário Oficial e busque por Palavra:

Contratação de pessoa jurídica para implantação da iluminação e decoração provisória de natal e festas de final de ano (natal encantado 2019), abrangendo instalação, manutenção e retirada, com fornecimento de material, mão de obra e equipamentos necessários.

natal-encantado-rar

Link original: https://www.diariooficial.feiradesantana.ba.gov.br/abrir.asp?edi=1152&p=1 Link do arquivo: http://www.feiradesantana.ba.gov.br/licitacoes/4831pmfstp0482019.rar

Essa issue só poderá ser desenvolvida quando o conteúdo dos PDFs for salvo junto com as licitações no banco de dados.

ATENÇÃO: aparentemente o Tika já reconhece alguns arquivos compactados e extrai o conteúdo deles. Para validar a necessidade dessa issue, esses casos devem ser testados. O ideal seria ter os arquivos e seus conteúdos separados. Atualmente todos os conteúdos do arquivo compactado são colocados juntos.

anapaulagomes commented 3 years ago

Do log de hoje: UnsupportedFormatException: Tika does not yet support rar version 5.