search

aphonsoar / Receita_Federal_do_Brasil_-_Dados_Publicos_CNPJ

Dados Públicos de CNPJ disponibilizados pela Receita Federal do Brasil
MIT License
253 stars 108 forks source link

Baixar bases de Estabelecimentos #38

Open RogerioScussel opened 1 year ago

RogerioScussel commented 1 year ago

Essa base de estabelecimentos que ja tenho o arquivo descompactado no diretorio , ele faz a leitura e logo da Killed no ubuntu ... parece ser q esse arquivo em especifico ele nao dividiu ele em partes menores , sabe ?

Tem alguma ideia ou ja teve problemas assim ?

aphonsoar commented 1 year ago

Consegue colocar um print do erro @RogerioScussel ?

RogerioScussel commented 1 year ago

Claro ...segue os erros ok ..

segue o erro :

image

Olha os arquivos descompactados aqui :

image

aphonsoar commented 1 year ago

Muito provavelmente isso esta acontecendo por um lack de memoria na hora de ler/gravar o arquivo todo de uma vez. Precisaria ser implementado um particionamento para os arquivos de estabelecimento assim como foi feito para os do simples. Quando criei o projeto acabei nao dividindo esses arquivos pq rodou na minha maquina na epoca.

aphonsoar commented 1 year ago

Exemplo nas linhas 428 a 485 do arquivo ETL_coletar_dados_e_gravar_BD.py

RogerioScussel commented 1 year ago

é isso mesmo pelo jeito .... se habilito o nrows do codigo fixando em 100 linhas ele importa o arquivo ....

ttalessoft commented 3 months ago

No meu caso eu mudei para 100 linhas o nRow ele só insere 1000 registros. Como faço para corrigir isso?