SOS-RS / backend

Auxílio RS: Projetos de Resposta a Emergências por Chuvas e Alagamentos
https://sos-rs.com
MIT License
712 stars 306 forks source link

Feature/import csv #130

Open risaddex opened 3 months ago

risaddex commented 3 months ago

Criando o parser de arquivos CSV.

Acabei aproveitando e usando como base um POC que tinha feito utilizando WebStreams, por isso talvez esteja meio Overengineering

O serviço aceita opcionalmente a opção de utilizar a API do Gemini para tentar categorizar as categorias dos supplies.

risaddex commented 3 months ago

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify image

iagxferreira commented 3 months ago

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify image

Em que voce ta pensando sobre o upload de arquivos? Talvez seja importante provisionar um s3 pra que a gente guarde, caso julguem necessario ou podemos colocar numa pasta compartilhada dentro da ec2 e fazer algum CRON job consumir e limpar esses arquivos depois de feita a carga de dados.

risaddex commented 3 months ago

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify image

Em que voce ta pensando sobre o upload de arquivos? Talvez seja importante provisionar um s3 pra que a gente guarde, caso julguem necessario ou podemos colocar numa pasta compartilhada dentro da ec2 e fazer algum CRON job consumir e limpar esses arquivos depois de feita a carga de dados.

Então, isso já tem algum tempo. Não sei como está o gerenciamento atual dos abrigos. Pelo tempo da issue, pode ser que ela nem seja mais tão útil para o sistema atual, existe a chance de terem importado as planilhas existentes de forma manual, se o fizeram.

Nessa implementação o arquivo é salvo na pasta temporária do sistema até o fim do parse e dps é deletado. (Poderia se ter um log disso, mas inicialmente apenas Admins possuem acesso a essa feature)