search

guilhermecugler / Scraper-Casa-dos-Dados

Scraper feito em python para puxar dados do site "casa dos dados" de acordo com os filtros desejados.
MIT License
26 stars 20 forks source link

Oi gente, obrigado pelo projeto, encontrei aqui. #6

Closed dougdotcon closed 4 months ago

dougdotcon commented 4 months ago

Tentei utilizar pelo CMD ou pelo executavel e deu os mesmos erros:

Traceback (most recent call last): File "requests\models.py", line 971, in json File "json__init__.py", line 346, in loads File "json\decoder.py", line 337, in decode File "json\decoder.py", line 355, in raw_decode json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

During handling of the above exception, another exception occurred:

Traceback (most recent call last): File "casadosdados.py", line 986, in File "casadosdados.py", line 710, in init File "casadosdados.py", line 477, in init File "casadosdados.py", line 91, in get_cnaes File "requests\models.py", line 975, in json requests.exceptions.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

guilhermecugler commented 4 months ago

Opa Douglas, tudo certo? Na última semana o site casa dos dados está fazendo alterações e adicionando proteções, já arrumei 3 vezes seguidas mas ainda estão realizando as alterações. Assim que terminarem irei atualizar o projeto.

dougdotcon commented 4 months ago

Tudo certo Gui, obrigado por perguntar! Obrigado pelo feedback tambem, ficarei no aguardo aqui. Se puder me tirar uma duvida, eu vi que a casa dos dados usa os dados abertos de CNPJ da receita federal, lá tem um index e o site do ministerio da fazenda com a base de dados, sabe me dizer se ao invez de scrapar eu posso fazer donwload diretamente desses dados e limpa-los ao invez de scrapar?

guilhermecugler commented 4 months ago

Tudo certo Gui, obrigado por perguntar! Obrigado pelo feedback tambem, ficarei no aguardo aqui. Se puder me tirar uma duvida, eu vi que a casa dos dados usa os dados abertos de CNPJ da receita federal, lá tem um index e o site do ministerio da fazenda com a base de dados, sabe me dizer se ao invez de scrapar eu posso fazer donwload diretamente desses dados e limpa-los ao invez de scrapar?

Tem um código já feito bem legal que baixa e salva os dados em um POSTGRESQL, segue link: https://gist.github.com/jhamerski/6c30c8a3f55c1812e167d6f486af783a

Segue explicação do código: https://www.linkedin.com/pulse/base-cnpj-receita-federal-python-ney-moresco/

dougdotcon commented 4 months ago

Poxa Gui, muito obrigado cara, me ajudou muito! Espero poder retribuir se puder!

guilhermecugler commented 4 months ago

Poxa Gui, muito obrigado cara, me ajudou muito! Espero poder retribuir se puder!

Atualizei para funcionar com as alterações do site casadosdados, executando o projeto direto do código fonte já deve funcionar.