Foi realizado apoio na atribuição de função para a contratação de recursos de armazenamento e de processamento em máquina virtual para a atividade de monitoramento de acessos da Plataforma Nilo Peçanha.
A criação de banco de dados na infraestrutura Azure tem as :
Azure SQL
Bancos de Dados SQL ✅
Instâncias gerenciadas do SQL
Máquinas virtuais do SQL
SQL Data Base
Encaminhamentos:
[x] Criação do Banco de Dados Azure SQL
[x] Alinhamento de estrutura de colunas do arquivo
Imagens
Sprint 12: Apresentação técnica do processos de ETL dos dados orçamentários
O modelo orçamentário vigente possui duas extrações diárias, Tesouro Gerencial e Siop e nesta sprint foi realizada a apresentação técnica do ciclo de transformação dos dados orçamentários desenvolvida no Pentaho, com a etapa de ETL das duas fontes.
Encaminhamentos:
[x] Estruturação da pipeline para a transformação dos dados orçamentários.
Imagens
Sprint 13: Apresentação técnica do processos de ETL dos dados orçamentários
Foi apresentada com sucesso a pipeline do Azure Datafabric de transformação em fluxo do arquivo do Tesouro Gerencial. O processo foi elucidado passo a passo em detalhes em com os presentes na seção.
Encaminhamentos:
Estruturação de Pipeline de dados do Portal do Orçamento do Siop.
Imagens
Sprint 14: Estruturação de Pipeline de dados do Portal do Orçamento do Siop.
Nosso SPARQL. A leitura do arquivo em RDF não é viável no Azure Data Factory. O Spark é embedado no Datafactory. A pipeline de dados foi estruturada com sucesso a partir de uma Query aplicada ao Endpoint do SPARQL .
Encaminhamentos:
[x] #147
Próximas atividades
Desenvolvimento de Staging Area em nuvem Azure.
Imagens
Sprint 15: Desenvolvimento de Staging Area em nuvem Azure.
Desenvolver uma Staging Area na nuvem Azure envolve um processo cuidadoso de planejamento e configuração, selecionando serviços e infraestruturas adequados para hospedar ambientes de pré-produção que criam o ambiente de produção. Começa-se com o planejamento do layout e dos recursos necessários, seguido pela configuração de uma rede virtual segura no Azure para isolar os recursos de Staging. Em seguida, escolhe-se entre uma variedade de opções de computação, armazenamento e banco de dados do Azure, como Azure Virtual Machines para flexibilidade de configuração ou Azure App Services e Azure SQL Database para facilitar a manutenção e escalabilidade. Para garantir a operação eficiente e segura, implementa-se monitoramento com o Azure Monitor e gerencia-se o acesso e a segurança dos dados com ferramentas como o Azure Active Directory. A automação e a integração contínua são facilitadas por meio de ferramentas como Azure DevOps ou GitHub Actions, permitindo atualizações rápidas e eficientes. Por fim, uma série de testes abrangentes assegura que o ambiente de Staging funcione conforme esperado antes da promoção ao ambiente de produção, garantindo uma transição suave e minimizando o risco de interrupções ou falhas.
Período: 30/01/2024 a 29/02/2024
Total de Horas Disponíveis: 20 Horas
Distribuição das Horas:
[x] Estudo e Desenvolvimento de Pipeline de Dados do Siop 06 horas 📊
Atividades Realizadas
Sprint 11: Estruturação de esteira de dados na infraestrutura Azure
📅 Data: 30/01/2024 🕒 Horário: 20:30 - 22:30
📹 Link para a gravação
Resumo:
Foi realizado apoio na atribuição de função para a contratação de recursos de armazenamento e de processamento em máquina virtual para a atividade de monitoramento de acessos da Plataforma Nilo Peçanha. A criação de banco de dados na infraestrutura Azure tem as :
Encaminhamentos:
Imagens
Sprint 12: Apresentação técnica do processos de ETL dos dados orçamentários
📅 Data: 01/02/2024 🕒 Horário: 20:30 - 22:30 📹 Link para a gravação
Resumo:
O modelo orçamentário vigente possui duas extrações diárias, Tesouro Gerencial e Siop e nesta sprint foi realizada a apresentação técnica do ciclo de transformação dos dados orçamentários desenvolvida no Pentaho, com a etapa de ETL das duas fontes.
Encaminhamentos:
Imagens
Sprint 13: Apresentação técnica do processos de ETL dos dados orçamentários
📅 Data: 08/02/2024 🕒 Horário: 20:30 - 22:30 📹 Link para a gravação
Resumo:
Foi apresentada com sucesso a pipeline do Azure Datafabric de transformação em fluxo do arquivo do Tesouro Gerencial. O processo foi elucidado passo a passo em detalhes em com os presentes na seção.
Encaminhamentos:
Imagens
Sprint 14: Estruturação de Pipeline de dados do Portal do Orçamento do Siop.
📅 Data: 15/02/2024 🕒 Horário: 20:30 - 22:30 📹 Link para a gravação
Resumo:
Nosso SPARQL. A leitura do arquivo em RDF não é viável no Azure Data Factory. O Spark é embedado no Datafactory. A pipeline de dados foi estruturada com sucesso a partir de uma Query aplicada ao Endpoint do SPARQL .
Encaminhamentos:
Próximas atividades
Imagens
Sprint 15: Desenvolvimento de Staging Area em nuvem Azure.
📅 Data: 20/02/2024 🕒 Horário: 20:30 - 22:30 📹 Link para a gravação
Resumo
Desenvolver uma Staging Area na nuvem Azure envolve um processo cuidadoso de planejamento e configuração, selecionando serviços e infraestruturas adequados para hospedar ambientes de pré-produção que criam o ambiente de produção. Começa-se com o planejamento do layout e dos recursos necessários, seguido pela configuração de uma rede virtual segura no Azure para isolar os recursos de Staging. Em seguida, escolhe-se entre uma variedade de opções de computação, armazenamento e banco de dados do Azure, como Azure Virtual Machines para flexibilidade de configuração ou Azure App Services e Azure SQL Database para facilitar a manutenção e escalabilidade. Para garantir a operação eficiente e segura, implementa-se monitoramento com o Azure Monitor e gerencia-se o acesso e a segurança dos dados com ferramentas como o Azure Active Directory. A automação e a integração contínua são facilitadas por meio de ferramentas como Azure DevOps ou GitHub Actions, permitindo atualizações rápidas e eficientes. Por fim, uma série de testes abrangentes assegura que o ambiente de Staging funcione conforme esperado antes da promoção ao ambiente de produção, garantindo uma transição suave e minimizando o risco de interrupções ou falhas.
Encaminhamentos
Esquema do banco de dados;
Próximas atividades
Referências
Enterprise business intelligence
Imagens
Sprint 16: Modelo de dados da PNP.
📅 Data: 22/02/2024 🕒 Horário: 20:30 - 22:30 📹 Link para a gravação
Resumo
Foi apresentado o modelo de dados da PNP.
Encaminhamentos
Continuar a apresentação
Próximas atividades
Imagens