O objetivo desta tarefa é propor uma arquitetura inicial para uma entrega de dados capaz de:
Capturar dados periodicamente (provavelmente diariamente) das APIs/páginas de licitação.
Oferecer uma maneira de realizar consultas aos dados (de maneira autenticada).
Fornecer linhagem para os dados consumidos.
Permitir a visualização dos dados sem autenticação.
Utilizar somente Software Open Source (OSS)
Tudo isso sem precisar ter gastos variáveis com a quantidade de dados consumida pelos nossos usuários.
Motivação
É de extrema importância que, com o conhecimento adquirido em https://github.com/licitacoes-jp-parai/sistema-licita-jp/issues/1, utilizemos nosso tempo para propor arquiteturas que atendam às demandas necessárias para oferecer uma única visualização em nosso site.
Entregável
Crie um PR que adicione as descobertas em um documento dentro da pasta "docs/architecture/…".
Este documento deve incluir as seguintes informações sobre a(s) arquitetura(s) proposta(s):
Custo mensal estimado para uma quantidade de dados X.
Onde a arquitetura pode ser mantida (qual provedor de nuvem).
Quais softwares estão interligados (com links para as documentações).
Como eles se comunicam.
Como os dados serão armazenados em cada fase (memória, disco, qual formato).
Sugestões iniciais
OSS que permite criar data pipelines simples e orquestrar somente com configuração: https://docs.meltano.com/
O objetivo desta tarefa é propor uma arquitetura inicial para uma entrega de dados capaz de:
Tudo isso sem precisar ter gastos variáveis com a quantidade de dados consumida pelos nossos usuários.
Motivação
É de extrema importância que, com o conhecimento adquirido em https://github.com/licitacoes-jp-parai/sistema-licita-jp/issues/1, utilizemos nosso tempo para propor arquiteturas que atendam às demandas necessárias para oferecer uma única visualização em nosso site.
Entregável
Crie um PR que adicione as descobertas em um documento dentro da pasta "docs/architecture/…".
Este documento deve incluir as seguintes informações sobre a(s) arquitetura(s) proposta(s):
Sugestões iniciais
OSS que permite criar data pipelines simples e orquestrar somente com configuração: https://docs.meltano.com/