Webscraping utilizando Pandas e Selenium com Chrome Webdriver
Esse pequeno repositório realiza uma busca em: https://cad-app-estruturaje.tse.jus.br/estruturaje-servico-ws/paginas/zonaEleitoral/consultar.faces;
O que ele faz?
- Ele baixa todos os arquivos referentes a cada estado da federação e a zona internacional, sendo esses: Zona Eleitoral, Endereço, Município, Estado, dentre outros;
- Concatena todos os arquivos baixados em um único arquivo e então deleta os desnecessários;
- Cria um dataframe e adiciona duas novas colunas ao mesmo: Latitude e Longitude;
- Para cada linha, através da API da nomatim: https://nominatim.openstreetmap.org, realiza três verificações para encontrar as coordenadas;
- Cria um csv com todas as informações processadas.
TO-DO
- Melhorar o tempo de todo o processamento;
- Trabalhar no controle de erros;