search

cuducos / minha-receita

🏢 Sua API web para consulta de informações do CNPJ da Receita Federal
https://minhareceita.org
MIT License
1.29k stars 129 forks source link

Atualização dos dados #188

Closed tirlone closed 1 year ago

tirlone commented 1 year ago

Olá pessoal, como vai??

Gostaria de saber se houve algum problema com a atualização dos dados da receita, visto que a última atualização aconteceu (segundo o json) em 12/04/2023.

Muito obrigado

cuducos commented 1 year ago

Houve um problema grave. Eu esqueci de atualizar! Hahaha… Vou começar uma atualização hoje. Obrigado pelo lembrete : )

tirlone commented 1 year ago

Obrigado Eduardo!!!

Aliás, se você puder por gentileza, poderia mandar a chave pix para eu fazer a doação? Não tenho como mandar via carteira/bitcoin neste momento.

Abraço,

Lucas

cuducos commented 1 year ago

Obrigado 💜

Veja se esse QR code funciona `[Chave inválida]`
cuducos commented 1 year ago

Só passando para avisar: verifiquei hoje cedo e agora está atualizado : )

$ curl https://minhareceita.org/updated
{"message":"2023-06-30 é a data de extração dos dados pela Receita Federal."}
tirlone commented 1 year ago

Valeu!!!!

E eu fiz o pix agora há pouco.

Parabéns pelo trabalho!

Em ter., 11 de jul. de 2023 09:18, Eduardo Cuducos @.***> escreveu:

Só passando para avisar: verifiquei hoje cedo e agora está atualizado : )

$ curl https://minhareceita.org/updated {"message":"2023-06-30 é a data de extração dos dados pela Receita Federal."}

— Reply to this email directly, view it on GitHub https://github.com/cuducos/minha-receita/issues/188#issuecomment-1630721448, or unsubscribe https://github.com/notifications/unsubscribe-auth/ADST5ZTHQYQBNUHAXGTC3ADXPVACRANCNFSM6AAAAAA2E7FQTQ . You are receiving this because you authored the thread.Message ID: @.***>

tirlone commented 1 year ago

Eduardo,

Se você quiser, eu posso me oferecer para atualizar os dados ou ajudá-lo a pensar em uma forma de automatizar a atualização. Algum robô que verifique diariamente em algum lugar se eles foram atualizados e depois faça a atualização com os novos arquivos. Não sei se algo assim seja possível, mas fica a sugestão.

Abs,

Lucas

Em ter., 11 de jul. de 2023 09:18, Eduardo Cuducos @.***> escreveu:

Só passando para avisar: verifiquei hoje cedo e agora está atualizado : )

$ curl https://minhareceita.org/updated {"message":"2023-06-30 é a data de extração dos dados pela Receita Federal."}

— Reply to this email directly, view it on GitHub https://github.com/cuducos/minha-receita/issues/188#issuecomment-1630721448, or unsubscribe https://github.com/notifications/unsubscribe-auth/ADST5ZTHQYQBNUHAXGTC3ADXPVACRANCNFSM6AAAAAA2E7FQTQ . You are receiving this because you authored the thread.Message ID: @.***>

cuducos commented 1 year ago

Obrigado pelo Pix 💜

Em teoria a atualização é simples:

  1. minha-receita has-update te diz se a versão no portal é mais nova que a do banco de dados
  2. minha-receita download baixa os novos dados
  3. Criar um novo banco de dados é tranquilo
  4. minha-receita transform carrega os dados no novo banco de dados
  5. Trocar a variável de ambiente de produção é tranquilo
  6. Excluir o banco antido é tranquilo

O problema é que quase sempre tem estourado ou memória ou espaço em disco no minha-receita transform e tenho que fazer isso meio que manual — não pelo processo, mas para monitorar e ir mudando a estratégia (paralelismo, tamanho dos lotes etc. bem como alguma manutenção básica do servidor como limpar logs antigos, arquivos temporários quando o processo pára subtamente etc).

O processo mudou um pouco (agora é um servidor dedicado, com deploy e infra controlada pelo Dokku), mas se quiser retomar esse papo, bora re-abrir o #132 : )