Creates Docker image to easily update prodution

cuducos / minha-receita

🏢 Sua API web para consulta de informações do CNPJ da Receita Federal

https://minhareceita.org

MIT License

1.29k stars 129 forks source link

Creates Docker image to easily update prodution #133

Closed cuducos closed 2 years ago

cuducos commented 2 years ago

Esse PR é um rascunho para algumas ferramentas que ajudem a atualizar o banco de dados de produção: #132

Ele depende da recém criada imagem Docker.

Com ela, criamos uma segunda imagem Docker para ser utilizada para a atualização (uma que tem o Screen instalado), e depois reproduzi os passos no update.sh — que ainda não testei.

Na minha cabeça, o ideal seria criar uma máquina virtual a partir dessa imagem, e criar as variáveis de ambiente:

DATA_URL: um .tar com os arquivos baixados (por exemplo: https://www.dropbox.com/s/ho3wi9njjfxf7qj/2022-06-15.tar)
POSTGRES_URI: com os dados de acesso ao bando no formato postgres://…

Closes #132

cuducos commented 2 years ago

Ah, esqueci de comentar: estou dando um passo ousado e tentando usar a máquina virtual para já atualizar o banco direto em produção. Estou rodando isso manualmente para ter ideia do tempo/custo. Talvez tenha que voltar atrás mesmo hehehe…

cuducos commented 2 years ago

tentando usar a máquina virtual para já atualizar o banco direto em produção

Vamos lá… o que deu bom:

O processo rodou em menos de 24h, o que é até aceitável (12 USD para uma VMcom 8 vCPUs e 16Gb RAM na GCP)
Menos trabalho manual do que criar uma VM foderosa para gerar o dump, baixar o dump, criar uma VM furreca para subir o dump para o banco de produção
Senti que ainda dá para diminuir o tempo brincando com --batch e --max-parallel-db-queries

O que deu ruim:

O processo estoura os 100Gb (limite do plano em uso no ElephantSQL), e tive qu migrar para o próximo plano (2x o preço)
Depois que carrega todos os dados e rola um VACUUM FULL cnpj;, o tamamho do banco volta a ser menor do que 100Gb
No ElephantSQL não tem como fazer downgrade de plano

O pico e queda no tamanho é o VACUUM.

cuducos commented 2 years ago

Provavelmente #137 vai ser uma opção melhor.