cuducos / minha-receita

🏢 Sua API web para consulta de informações do CNPJ da Receita Federal
https://minhareceita.org
MIT License
1.32k stars 133 forks source link

Problema ao criar índices #224

Closed naanzitos closed 6 months ago

naanzitos commented 6 months ago

Percebi que às vezes, quando termina todo processamento de dados para tabelas Postgres, ao criar os índices ele finaliza como se tivesse dado certo. Ao filtrar os índices no Postgres ele não existe, e aí ao tentar criar os índices direto pelo CLI do psql, ele fica por muito tempo e não conclui, como se estivesse travado, não usa processamento nem memória.

Resolvi esse problema outras vezes rodando o comando transform novamente, mas com o comando nohup pra ficar em background. Das vezes que rodei usando direto o minha-receita sem deixar a tela travar pra nao perder a sessão, não funcionou.

Será que isso se dá por algum erro no meio do transform?

Config de máquina:

16GB/4cores

naanzitos commented 6 months ago

Resolvido.

O "problema"é que o processo de criação de indices está demorando bastante.

naanzitos commented 6 months ago

SELECT pid, now() - query_start AS "duration", usename AS "user", query, state, wait_event_type, wait_event FROM pg_stat_activity WHERE state <> 'idle' AND query NOT LIKE '%pg_stat_activity%' ORDER BY "duration" DESC;

Essa query ajuda a identificar os processos de indexação que estão acontecendo.