Importacao da CGU - Importação de 200 mil pedidos da CGU com 140GB de arquivos (anexos)

[studiocuboweb]

Precisamos subir 200 mil pedidos com 140GB de arquivos da base da CGU no Achados e Pedidos. Os recursos atuais utilizados pelo elasticsearch hospedado no Google Cloud não vai conseguir suportar essa carga de dados.

Por isso, existe a necessidade de verificar a melhor configuração x preço para suportar essa quantidade de dados.

Atividades:

• [x] 1. Enviar qtdes de pedidos / volume de dados (Raul)
• [x] 2. Descobrir quantidade de recurso para o ElasticSearch dentro do volume de dados (quanto de recurso precisaremos para o ElasticSearch?) (Will)
• [x] 3. Dimensionar as instâncias dentro deste volume de dados (decidir se vai ser arquitetura monolítico ou horizontal) (Will)
• [x] 4. Verificar custo / orçamento (Will)
• [x] 5. Define o plano de execução. (toda a equipe)
• [x] 5.1. Pedir permissão para a Abraji aumentar o disco do google cloud em até R$30,00 (30GB) (Transparência Br)
• [x] 5.2. Aumentar o disco do google cloud (30GB) (Paulo)
• [ ] 5.3. Renomear e transferir os arquivos para a pasta de pedidos (Raul)
• [ ] 5.4. Testar o importador na azure https://github.com/Transparencia-Brasil/achados-e-pedidos-importador/issues/7 estiver tudo OK vamos deletá-lo do Google Cloud
• [ ] 5.5. Importar as planilhas no importador - pacotes de 20.000 pedidos. descobrir limite do servidor para volume de arquivos (começar apenas após o aumento do disco) obs: Deletei as bibliotecas do mysql. verificar se o importador vai funcionar. (Raul)
• [x] 6. Verificar se o limite de espaço do Storage na Azure atende. Caso não atender, aumentar esse limite (Will)

[rdurl0]

Total

• Quantidade de pedidos: 207.735 pedidos
• Quantidade de interações: 459.774 interações (pedidos + resposta + recursos + respostas)
• Quantidade de anexos: 158.828 anexos
• Tamanho total dos anexos (Gb): 179,8Gb

Quantidade de pedidos

Quantidade de anexos

Tamanho dos anexos