search

fabioserpa / CNPJ-full

Utilitário em Python para ler os dados públicos do CNPJ disponibilizados pela Receita Federal e carregá-los em arquivos csv ou sqlite para fácil consumo. Também permite consultas com visualização interativa ou exportação para formatos diversos.
GNU General Public License v3.0
485 stars 190 forks source link

Exportar no formato .sql #38

Open gabrielfromrio opened 4 years ago

gabrielfromrio commented 4 years ago

É possível exportar no formato .sql?

e como faz pra subir um arquivo tão grande como esse ?

lorduakiti commented 4 years ago

É possível exportar no formato .sql?

e como faz pra subir um arquivo tão grande como esse ?

@gabrielfromrio acredito que é possível realizar essa exportação porque o @fabioserpa criou o exportador para CSV. Dependendo do seu banco de dados é possível realizar a importação do CSV usando comandos TSQL ou interface gráficas de administração de banco de dados.

Mas também acho que seria interessando criar outros mecanismos de importação da base de CNPJ's para outros tipos de banco de dados.

fabioserpa commented 4 years ago

O que seria exatamente a exportação para formato .SQL? Um arquivo .SQL com toda a sequência de inserts para executar em um SGBDs? Sugiro que explique exatamente o seu objetivo para que possamos entender a melhor solução. Abraços.

gabrielfromrio commented 4 years ago

Hoje as conversões são nos formatos .db e .csv, para incluir no MySql o csv esta gigante ele acaba não convertendo e inserindo no banco de dados ou vai demorar uma vida ou dar time out, são mais de 57 milhões de empresas.

No MySql ao exportar ele cria os insertes e cria as tabelas e a cada 50.000 caracteres +- cria um novo insert evitando parar e perder informações eu acho.

Com o formato .sql posso fazer por SSH que é mais rápido o insert no banco.

Pensei em desenvolver também um função onde o php faz a leitura e filtra a busca do .csv quando o usuário fizer a busca, aí sim ele inserir no banco de dados os valores, mas não é usual.

franklinbaldo commented 4 years ago

Talvez isso ajude: https://medium.com/@sanathkumar/import-large-csv-files-to-mysql-in-a-minute-e6d639b790ab

Em qui, 23 de abr de 2020 12:03, Gabriel notifications@github.com escreveu:

Hoje as conversões são nos formatos .db e .csv, para incluir no MySql o csv esta gigante ele acaba não convertendo e inserindo no banco de dados ou vai demorar uma vida ou dar time out, são mais de 57 milhões de empresas.

No MySql ao exportar ele cria os insertes e cria as tabelas e a cada 50.000 caracteres +- cria um novo insert evitando parar e perder informações eu acho.

Com o formato .sql posso fazer por SSH que é mais rápido o insert no banco.

Pensei em desenvolver também um função onde o php faz a leitura e filtra a busca do .csv quando o usuário fizer a busca, aí sim ele inserir no banco de dados os valores, mas não é usual.

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub https://github.com/fabioserpa/CNPJ-full/issues/38#issuecomment-618486448, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABTJA2GJ27KEHMJGPVKYMH3ROBREXANCNFSM4MON2VFQ .

gabrielfromrio commented 4 years ago

Não deu certo, e inserir direto no banco de dados ao invés de criar um arquivo, o usuário colocando seus dados de conexão.. é possível?

fredroo commented 4 years ago

convertam com data grid tem teste de 30 dias, https://stackoverflow.com/questions/18671/quick-easy-way-to-migrate-sqlite3-to-mysql