Instalação no Windows

[rogervargasrex]

Tive um problema na execução do programa para baixar os dados abertos e converter para uso na redecnpj. Na execução do programa 02-dados_cnpj_para_sqlite.exe, houve o seguinte erro: executando parte 21/21:

fim parcial... Fri Jun 2 20:24:10 2023 fim sqls... Fri Jun 2 20:24:10 2023 Aplicando VACUUM para diminuir o tamanho da base-------------------------------- Fri Jun 2 20:24:21 2023 Traceback (most recent call last): File "sqlalchemy\engine\base.py", line 1900, in _execute_context File "sqlalchemy\engine\default.py", line 736, in do_execute sqlite3.OperationalError: database or disk is full

The above exception was the direct cause of the following exception:

Traceback (most recent call last): File "dados_cnpj_para_sqlite.py", line 206, in File "", line 2, in execute File "sqlalchemy\util\deprecations.py", line 468, in warned File "sqlalchemy\engine\base.py", line 3257, in execute File "sqlalchemy\engine\base.py", line 1365, in execute File "sqlalchemy\engine\base.py", line 1669, in _exec_driver_sql File "sqlalchemy\engine\base.py", line 1943, in _execute_context File "sqlalchemy\engine\base.py", line 2124, in _handle_dbapiexception File "sqlalchemy\util\compat.py", line 211, in raise File "sqlalchemy\engine\base.py", line 1900, in _execute_context File "sqlalchemy\engine\default.py", line 736, in do_execute sqlalchemy.exc.OperationalError: (sqlite3.OperationalError) database or disk is full [SQL: VACUUM] (Background on this error at: https://sqlalche.me/e/14/e3q8) [26708] Failed to execute script 'dados_cnpj_para_sqlite' due to unhandled exception!

D:\Programas\rede-cnpj-baixar-converter>

Saliento que estou tentando executar o programa a partir do Drive D, pois no drive C não há espaço suficiente para todos os arquivos.

[rictom]

Nesse ponto do erro, ou faltou espaço no HD ou talvez memória RAM. Se vc rodou no disco D:, vc tem que ver se tem espaço livre, aos menos uns 50gb. Se já tiver um arquivo cnpj.db na pasta dados públicos, talvez nem seja necessário repetir a parte 2. O erro foi uma etapa que diminui o tamanho do arquivo cnpj.db. Tente abri-lo no dbbrowser... A tabela estabelecimento deve ter 55 milhões de registros. Vc pode usar a opção compactar base do dbbrowser. Se der certo, vc pode rodar a parte 3, depois de ver se tem espaço no HD

[murielgm]

Boa tarde. Eu estou executando arquivo "04-rede_enderecos_telefones.HD" via Windows Powershel. Ele está na "Parte 3" há mais de 48 horas:

Sat Dun 10 06:33:01 2023 -executando parte: 3 create table endereco_contagem_ativas AS select endereço, count(endereço) as contagem from endereço where situacao=’02’ group by endereço having count(endereco)>l

É normal essa demora? O arquivo cnpj_links_ete.db já está com quase 12 gb e continua a aumentar de tamanho, porém de forma bem devagar. Em tempo: estou rodando esse executável em um disco rígido secundário, sem SSD.

Obrigado!

[rictom]

Ola @murielgm,

Acho que não deveria levar tanto tempo. Vc desativou a opção "modo de edição rápida" do Console DOS?? As vezes só de clicar no console o programa para

[murielgm]

Oi, bom dia. Sim, eu desativei essa opção "modo de edição rápida" e também alterei as configurações de energia do computador. Apenas para te ilustrar, eu deixei o programa continuar rodando desde a minha última postagem e, nessas últimas 16 horas, o arquivo cnpj_links_ete.db aumentou apenas 10 mb. No gerenciador de tarefas, o programa continua a demandar o uso de CPU, memória e disco.

[rictom]

Por curiosidade, quanto tempo levou para rodar a parte 03-rede_cria_tabela_rede.db.HD.exe? Talvez o seu computador tenha pouca memória RAM (eu testei apenas em16GB RAM), então o micro fica usando memória virtual no disco. Esse arquivo cnpj_links_ete.db é um arquivo opcional, vc consegue rodar a redecnpj sem ele (só ficaria sem os vínculos de endereços, telefones e email). Sugiro vc para esse processo (nessa velocidade dificimente vai concluir) e tentar em outro computador que tenha mais memória e de preferência com SSD.

[rictom]

Fechando o tópico, acho que já deve ter sido resolvido.