Alguns arquivos de input e output ocupam bem menos que 4Kb, logo ao serem carregados no worker, há um gasto desnecessário de 4kb de ram ao manter o arquivos no tmpfs e também carregar e salvar essa arquivo no Minio é desnecessário.
Se fossem poucos arquivos não seria um problema, mas para uma quantidade imensa de arquivos de input e output com menos de 4kb, pode consumir muita Ram no worker e levar tempo demais a movimentação com dados desnecessários.
Fazer uma implementação que para arquivos que se o tamanho for menor que 4Kb ele armazene esses dados no banco de dados. E toda a execução com esses tipos de arquivos, ele consulte os dados no Redis, ou carregue do banco se não tiver no redis.
crazynds
commented
9 months ago
Alguns arquivos de input e output ocupam bem menos que 4Kb, logo ao serem carregados no worker, há um gasto desnecessário de 4kb de ram ao manter o arquivos no tmpfs e também carregar e salvar essa arquivo no Minio é desnecessário. Se fossem poucos arquivos não seria um problema, mas para uma quantidade imensa de arquivos de input e output com menos de 4kb, pode consumir muita Ram no worker e levar tempo demais a movimentação com dados desnecessários.
Fazer uma implementação que para arquivos que se o tamanho for menor que 4Kb ele armazene esses dados no banco de dados. E toda a execução com esses tipos de arquivos, ele consulte os dados no Redis, ou carregue do banco se não tiver no redis.