unb-mds / 2023.2_DeOlhoRS

Projeto de Coleta e Análise de Diários Oficiais Municipais
https://de-olho-rs-teste-my-team-1c098159.vercel.app/
MIT License
9 stars 4 forks source link

Encadeamento de processos da camada de dados #40

Closed vitorfleonardo closed 1 year ago

vitorfleonardo commented 1 year ago

Descrição

Adicionar o PyPDF2 ao código de WebScraper para extração dos .txt e exclusão dos PDF's, em tempo de execução.

Objetivos

BiancaPatrocinio7 commented 11 months ago

Nosso código anterior conseguia buscar os arquivos PDF, baixá-los, extrair o texto e remover os PDFs, porém isso resultava no acúmulo de arquivos desnecessários no computador. Na resolução dessa questão, implementamos melhorias em nosso projeto, otimizando o encadeamento desses processos. Agora, todas as etapas ocorrem de forma integrada durante o tempo de processamento, proporcionando uma execução mais eficiente e evitando a poluição desnecessária do sistema com arquivos temporários.