Criação do raspador do portal da Transparência de Minas Gerais

[manuvaladares]

Descrição

Após conversa com a equipe, foi decidido que iremos olhar para os gastos da Secretaria de Estado de Cultura ao ivés dos municípios. Por isso, foi necessário que um raspador para o site da transparência de Minas Gerais fosse criado afim de buscar os dados para o projeto. Por isso, o objetivo desta tarefa é fazer o raspador que busque por ano, por mês e por data específica. Gerando 2 JSON diferentes que serão usados no site. Assim, teremos dados disponíveis desde 2002 até a data atual, sendo de fácil atualização e consulta pela nossa API.

Tarefas

• [x] Acessar o site da Transparência e determinar o caminho que o Selenium irá fazer, observando o código HTML do site
• [x] Verificar a funcionalidade no código dentro do loop de ano e mês.
• [x] salvar os dados anuais e mensais dentro do json

[Gxaite]

Foi criado os raspadores do estado de minas gerais, criamos um raspador anual para pegar os anos entre 2002 até 2025. Também criamos raspadores do estado capaz de pegar todos os meses nesse intervalo de anos. E um terceiro script que é responsável na parte da automação do projeto, dessa forma o workflow pega a data atual e roda o script mensalmente para atualizar o banco de dados