Estudo Crawler

[diogodilcl]

Vamos realizar alguns estudos e colocar links nessa issue a respeito de mudar o tema para a implementação de um crawler, temos varios problemas com a obtenção de dados e essa implementação pode ser viavel, usando assim a parte de regressão para trabalhos futuros.

[diogodilcl]

Estudando o site da SSP-GO vimos que nele tem a opção por bairro mas sempre é retornado a quantidade por mês, não há nenhuma opção de pegar por multiplos tipos de crime, multiplos tipos de cidades ou multiplos bairros, poderiamos fazer o crawler que agregace todas essas informações. Essas são as opções do painel :

[diogodilcl]

Também temos a opção de pegar por áreas de uma cidade que seria o seguinte painel :

[diogodilcl]

Acho que seria possível pegar os dados diretamente de um Json, para não termos que fazer o parse do HTML

[diogodilcl]

Nesse link, nesse e nesse temos alguns exemplos de Crawler em python.

[saulosouzaoli]

O crawler irá extrair registros de subnotificações também? No site Onde fui roubado há subnotificações registradas pelas próprias vitimas, porém o site possui poucos usuários em Goiânia, tanto que neste ano de 2018 existem somente 12 registros, e para o ano de 2017 o site demora responder(o site tende a demorar responder pesquisas por grandes intervalos), também há a possibilidade de rastrear postagens do facebook e do twitter que podem ser subnotificações

[diogodilcl]

Estudo finalizado e implementado