codigourbano / cep-scraper

A Javascript client to search Brazilian postcodes
http://codigourbano.org/raspador-de-dados-facilita-acesso-para-consultas-ao-cep/
13 stars 3 forks source link

Dispôr base de dados. #1

Open PauloLuan opened 9 years ago

PauloLuan commented 9 years ago

Caras, parabéns pelo projeto,

Eu juntei algumas informações sobre CEPs neste repositório, na real eu queria a base de dados completas disponível em algum lugar...

Vou pensar em algo do gênero, mas ainda não pensei numa maneira efetiva de deixar a base de dados inteira disponível pra Download. A não ser baixando um por um através da própria API (que é bastante provavel que eles bloqueiem o IP).

Enfim, abri essa issue só pra visibilidade e bater um papo mesmo.

Irei adicionar uns testes unitários ai assim que possível no projeto :+1:

Abraços.

PauloLuan commented 9 years ago

Aliás, eu li os dois artigos, foda essa parada de tratar o CEP como informação vendível...

[1] http://codigourbano.org/por-que-o-cep-deve-ser-tratado-como-informacao-publica/ [2] http://codigourbano.org/raspador-de-dados-facilita-acesso-para-consultas-ao-cep/

PauloLuan commented 8 years ago

Oww, vocês já viram essa parada aqui ? http://cepaberto.com começou o download beta esse mês...

vgeorge commented 8 years ago

Valeu pela dica, Paulo. Entrei agora e vi que o projeto se baseia no Google Maps. Desta maneira os dados não podem ser redistribuídos sob uma licença aberta.

vgeorge commented 8 years ago

@edumucelli

edumucelli commented 8 years ago

Eu criei o http://cepaberto.com com a intenção de prover uma plataforma colaborativa que, por fim, possa gerar dados de qualidade para a comunidade (API e base de dados). Qualquer um pode editar, reverter edições indevidas, seguir um CEP para receber notificações sobre edições, etc.

Quanto a licença, desconheço como meu projeto "se baseia no Google Maps" e como isto implica na licença. Segundo os Termos de Serviço da Google, seção "Seu Conteúdo em Nossos Serviços":

Alguns de nossos Serviços permitem que você faça upload, submeta, armazene, envie ou receba conteúdo. Você mantém a propriedade de quaisquer direitos de propriedade intelectual que você detenha sobre aquele conteúdo. Em resumo, aquilo que pertence a você, permanece com você.

Digo isto, pois o que faço é basicamente mostrar "meus dados" no serviço Maps. A implicação é que eles podem usar tudo com a finalidade que eles bem entenderem. Desta forma, não vejo como isto impacta na licença final da base que é disponibilizada no CEP Aberto. Qualquer clarificação é bem-vinda neste aspecto, já que não o conheço bem.

Por fim, a realidade é que a API e a base estão pra quem quiser usar e este é o meu objetivo, mas acredito que o mais importante seja colaborar para a melhoria dos dados, pois cada um conhece melhor seu CEP do que ninguém :-)

vgeorge commented 8 years ago

Oi Eduardo, quando disse que se baseia no Google Maps, me referia a definição de coordenadas para os CEPs. Corrija-me se estiver errado, os usuários definem lat/lon a partir do mapa do Google Maps na plataforma, não? Se sim, estas feições se caracterizam como dados derivados e só podem ser exibidas na plataforma do Google. No wiki do OpenStreetMap há texto sobre isso, acho que dá para entender melhor a questão.

Uma saída seria utilizar um mapa do OpenStreetMap, mas em algumas cidades a cobertura é limitada. Talvez usar as imagens de satélite do Bing, mas aí os dados teria que ser lançados especificamente sob a ODbL.

vgeorge commented 8 years ago

O @naoliv esclareceu que não é permitido derivar dados do Bing que não seja no editor do OpenStreetMAp, segundo o termo de cooperação:

The rights that you have under this agreement are limited solely to aerial imagery use in a non-commercial online editor application of OpenStreetMap maps (an “Application”).

Se for sobre uma camada de dados OSM não há restrição, é necessário apenas que os dados também estejam sob a ODbL.

edumucelli commented 8 years ago

Isto, a parte de geolocalização é provida pelos usuários através do GMaps. Compreendi a questão dos dados derivados, agradeço o esclarecimento.

No momento, O CEP Aberto ainda não disponibiliza dumps com latitude e longitude, somente pela API. Vou experimentar com o OSM pra ver se a cobertura é aceitável em cidades e municípios pequenos.