search

pengovbr / mod-sei-estatisticas

14 stars 5 forks source link

Primeira execução timout devido à quantidade de dados #6

Closed evertramos closed 4 years ago

evertramos commented 4 years ago

Prezados colegas, bom dia!

Estamos implantando o módulo estatístico, porém temos 500GB (arquivos) de dados para gerar estatísticas no primeiro envio... e está dando um erro de Timout. Acho que o script lê tanto os arquivos e a base que tb está bem grande aqui já...

  1. Indicam alguma forma de conseguir enviar esse primeiro relatório para a api? Quebrando em partes ou subindo uma nova instancia específica pra isso, talvez?

  2. Os demais envios são incrementais, correto?

evertramos commented 4 years ago

Segue erro de limite de memória ao testar o módulo: image

marlinhares commented 4 years ago

Opa desculpe a demora. Os arquivos anexos do SEI não devem ser contemplados ao gerar estatísticas. Vc deve colocar o nome desse diretório na lista de ignorar_arquivos (maiores informaçoes de como configurar o ignorar_arquivos no README), dessa forma haverá um bypass desse dir na hora da leitura. O hash dos arquivos devem ser feitos apenas sobre o código fonte do sei, qualquer outro diretório que vc conheça deve ser adicionado ao array ignorar_arquivos.

Vou fechar a issue se achar necesário pode reabrir