Sprint 1 - Pesquisas - Tecnologias

[Matheuspimentell]

Descrição

Pesquisar sobre as tecnologias que serão utilizadas durante a execução do projeto

Tarefas

Pesquisar sobre as seguintes tecnologias:

• [x] Webcrawler @guibrbs
• [x] Ferramentas de BI
• [x] Bancos de dados (Mongo, etc...)
• [x] Zenhub
• [x] Docker
• [x] Tecnologias de Front-end (React, Javascript, html ...)

Critérios de aceitação

• [x] Postagem da ata de revisão da sprint
• [x] Atualização da tabela de conhecimentos

[gabrielm2q]

Web crawler

• Introdução
  • Web crawlers são basicamente ferramentas de pesquisa e coleta de dados em páginas da internet. Tais ferramentas podem ser utilizadas para diversos propósitos, como o monitoramento de conteúdos postados em sites específicos (sites de notícia, por exemplo) ou a coleta de dados para posterior processamento e uso.
  • No projeto da criação de uma ferramenta que disponibiliza "Indicadores para a lista de ofertas do SIGAA", os web crawlers poderiam ser utilizados, a priori, na coleta dos dados disponibilizados nas listas do SIGAA para processamento e disponibilização otimizada, contanto também com o uso de bancos de dados e ferramentas de BI.
• Scrapy
  • O Scrapy é um framework Open Source (ver repositório) que permite o desenvolvimento em Python3 de web crawlers para a coleta de dados de páginas da internet.
  • Existem vários tutoriais que guiam a criação de web crawlers utilizando o framework Scrapy com Python3. Podemos citar:
  • Uma Introdução aos web crawlers (cerca de 6 minutos de leitura): o artigo apresenta uma introdução técnica aos web crawlers, explicando inicialmente como estes funcionam e apresentando algumas barreiras a serem superadas no desenvolvimento da ferramenta (lidar com erros dos tipos 400+ ou 500+, focar nas páginas mais relevantes a serem "monitoradas"...). Uma importante abordagem do artigo é a comparação entre "crawling" e "scraping", onde o primeiro basicamente navega pelas páginas através dos links nelas presentes e o segundo se baseia em "escanear" as páginas e coletar o conteúdo necessário.
  • Scrapy para monitoramento em sites de notícias (cerca de 9 minutos de leitura): o artigo inicia com uma breve apresentação dos web crawlers e do framework Scrapy. Em seguida, é apresentado o passo a passo da criação de um web crawler para coleta de dados em um site de notícias, partindo da instalação do Scrapy à geração de um arquivo com os dados coletados.
  • Por fim, o artigo "5 dicas para criar um web crawler mais confiável" apresenta alguns tópicos que podem vir a ser importantes para melhorar a eficiência do software a ser desenvolvido :)

[guibrbs]

Banco de Dados

Descrição

Banco de dados são uma forma de organizar e armazenar informações. Atualmente as organizações estão cada vez mais necessitando do armazenamento de informações que precisam ser organizadas e disponibilizadas para seus devidos interesses, por isso a importância de um SGBD (sistema de gerenciamento de banco de dados).

Objetivo

Os objetivos dos bancos de dados são promover uma abstração do banco de dados ao usuário, ou seja, entregar a demanda sem que o usuário necessite saber onde está armazenado seus dados. Além disso, é trivial para um sistema de banco de dados, tornar-se independente da aplicação.

Alguns SGBDs

• MySQL: É um OpenSource, utiliza a linguagem SQL e possui licenças comerciais e livres. É além de ser utilizado por algumas empresas conhecidas, possui fácil integração com PHP.
  • SQL Server: Criado pela Microsoft, é uma alternativa muito boa no quesito de segurança, já que seus sistemas atuam com sistemas integrados de criptografia, permitindo somente aos responsáveis pelo sistema o gerenciamento.
  • MongoDB: Também é um SGBD open source, com compatibilidade com boa parte dos sistemas operacionais (Windows, Linux, OSX). Seu uso é orientado a JSON, permitindo que tabelas e colunas sejam criadas previamente. Por ser criado em C++, sua performance é excelente, trazendo tranquilidade ao trabalhar com o sistema.
  • PostgreSQL: Também é uma ferramenta open source, porém mais utilizado para sistemas online, como Skype, Apple e até mesmo o metrô de São Paulo. Possui uma capacidade de suportar grandes fluxos de dados, com segurança, estabilidade e alto desempenho.

    Links úteis

• https://rockcontent.com/br/blog/banco-de-dados/
• https://www.devmedia.com.br/conceitos-fundamentais-de-banco-de-dados/1649
• https://www.capterra.com.br/blog/846/bancos-de-dados-gratuitos-e-de-codigo-aberto

[oCaioOliveira]

No link a seguir, a ideia de um web crawling fica mais clara e também é possível ver o desenvolvimento de um scraper básico em python, usando uma biblioteca direcionada pra essa funcionalidade, o que torna os ensinamentos mais simples e há muito suporte disponível na internet usando esse caminho. Analisando os passos desse desenvolvimento é possível ter uma visão menos turva de como funcionaria e como seria construída essa ferramenta. https://www.digitalocean.com/community/tutorials/como-fazer-crawling-em-uma-pagina-web-com-scrapy-e-python-3-pt

[Matheuspimentell]

Docker

Container

Um container é um formato de empacotamento que envolve todo o código e dependências de um aplicativo em um formato padrão que permite sua execução rápida e confiável em ambientes de computação - Trecho retirado do site da Oracle

O que é o Docker?

Um container Docker é um serviço de containers popular, leve, autônomo e executável que inclui tudo o que é necessário para a execução de um aplicativo; Incluindo bibliotecas, ferramentas de sistema, código e tempo de execução.

O docker também é uma plataforma que permite aos desenvolvedores a criação, testagem e implantação de aplicativos em containers rapidamente.

Para quem é voltado o uso do docker ?

O Docker é uma estrutura de desenvolvimento de aplicativos aberta projetada para beneficiar DevOps e desenvolvedores. Usando o Docker, os desenvolvedores podem facilmente criar, empacotar, enviar e executar aplicativos como contêineres leves, portáteis e autossuficientes, que podem ser executados em praticamente qualquer lugar. - Trecho retirado do site da oracle

Links úteis

• https://www.docker.com/ (em inglês)
• https://www.oracle.com/br/cloud-native/container-registry/what-is-docker/ (em português)
• https://www.youtube.com/watch?v=_dfLOzuIg2o (em inglês)

[MorettiGS]

Banco de Dados ( Database )

• O que são dados?

  • Dados são toda informação que possa ser transmitida, seja ela uma imagem, um arquivo PDF, um vídeo, um arquivo de texto, o nome de uma pessoa, um número, entre diversos outros.

• O que é um Banco de Dados?

  • Um Banco de Dados pode ser resumido como uma coleção de dados estruturados de forma organizada. O que é chamado de Sistema de Banco de Dados é composto pela complementação desse banco com um SGBD (Sistema de Gerenciamento de Banco de Dados ), que é um software criado para inserir e alterar os dados do banco. Esses bancos de dados podem ser separados por dois dos principais métodos utilizados na organização dos mesmos: SQL e NoSQL.

Tipos de estruturas em um Banco de Dados

• Existem, complementando essas organizações, diferentes tipos de estruturas adotadas para os dados que compõe o banco, sendo as principais delas as seguintes:
  • Tabelas: Um dos tipos mais populares. As informações são separadas em tabelas de tamanhos variáveis, com cada coluna ( ou linha ) representando um registro desses dados, podendo conter ou não uma chave primária para identificar seus valores. Geralmente associadas a um banco de dados relacional.
  • Key-value ( Chave-valor ): Uma versão simplificada da estrutura de tabelas, com uma organização em pares composta da relação entre uma chave e seu respectivo valor, geralmente utilizada quando todos os acessos ao banco são realizados por uma chave primária.
  • Documento: Também bastante utilizado pelas organizações por sua amplitude. Os dados são armazenados em documentos do tipo JSON, sendo assim flexíveis e adaptáveis ao modelo de documento utilizado pela sua organização.
  • Graph ( Grafos ): Utilizam de nós para armazenar entidades de dados, relacionando-as entre si por meio de arestas. Vantajosos em aplicativos como redes sociais, detecção de fraudes e qualquer outro que precise da agilidade de criação e consulta desses relacionamentos.

Links Úteis:

• Para um maior detalhamento do assunto, seguem as fontes utilizadas para a pesquisa e alguns links úteis:
  • MongoDB (em inglês)
  • NoSQL Databases (em inglês)
  • What is a Database? (em inglês)
  • Introdução a Bancos de Dados (em português)
  • O que é MySQL? (em português)

[AdneMoretti]

Zenhub

O que é

O zenhub é uma ferramenta de gerenciamento de projetos que tem integração com o GitHub por meio de uma extensão do navegador, até então Chrome e Firefox.

Vantagens

As vantagens de utilização do ZenHub considerando outras várias ferramentas de gerenciamento de projetos são:

• Por ser diretamente integrado com GitHub, não apresenta dificuldade nas configurações e no login;

• Os gerentes de projetos podem ter uma visão do processo de desenvolvimento no mesmo ambiente em que os desenvolvedores sempre utilizam;

• Transparência no processo utilizando dados fornecidos pelo GitHub;

• Apresenta painéis de tarefas;

• É possível mover issues entre as fases;

• Fornece métricas para acompanhar a velocidade e eficiência das tarefas.

Como utilizar no repositório

Aqui estão alguns links que mostram como montar os painéis e utilizar o ZenHub em um repositório no git:

• https://ichi.pro/pt/zenhub-101-o-guia-essencial-239997646733213
• https://help.zenhub.com/support/solutions/articles/43000504792-workspaces-overview

[MorettiGS]

Web Crawler

• O que é um Web Crawler?
  • Para manter uma presença online e se atualizarem constantemente, as organizações precisam de um meio de obter informações úteis a respeito de diversas páginas da Web. Cumprindo essa função, temos o Web Crawler, um algoritmo desenvolvido com a finalidade de verificar o código fonte de sites e páginas, objetivando analisar, armazenar e/ou classificar os conteúdos do site à medida que o seu usuário aplica seu devido filtro no mesmo. Como consequências dessa análise, o usuário consegue ter uma noção ampla das relevâncias e preferências do mercado, aumentando as possibilidades de melhora do seu aplicativo, seus métodos, seu marketing, entre outros.
• Exemplos
  • Googlebot: sendo o web crawler que auxilia a própria ferramenta de pesquisa do Google, é um dos mais famosos, rápidos e versáteis.
  • Apifier, ou Apify: Link para o repositório.
  • Crawljax: Link para o repositório.
  • Scrapy: Apesar de não ser um web crawler por si só, o Scrapy é um framework open source que possibilita a criação de vários, dessa forma, a ferramente se tornou popular ao longo do tempo, principalmente por ser flexível, rápida e poderosa na elaboração de um web scraper ou web crawler. Link para o repositório.

Links Úteis

• Nos links a seguir, é possível conferir as fontes utilizadas na pesquisa e alguns links para entender o processo de criação de um Web Crawler.
  • Utilizando o Scrapy
  • O que é um Web Crawler?
  • Como criar um Web Crawler com Python
  • Web Crawler: O que é, quando usar e como funciona
  • Web Crawler e o Marketing Digital

[guibrbs]

Ferramentas de BI

O que é?

Business Intelligence (BI) é um processo que organiza dados, analisa e apresenta as informações para facilitar a tomada de decisão de seus usuários. O processo envolve a coleta de dados, posteriormente eles são organizados, para que assim seja feita uma análise e mostre as informações por meio de dashboards, relatórios, painéis. Com isso, foram criadas as ferramentas de BI para facilitar ao usuário a organização dos dados, análise precisa, entendimento em relação aos dados de consumo e seus consumidores, facilitando a tomada de decisão.

Motivos para integrar ao software:

• Possibilidade de simplificar as operações, pois há o fornecimento de dados mais precisos, facilitando e simplificando operações do usuário.
• Aumento do lucro dos usuários, uma vez que acelera o processo das operações, aumentando as entregas e, consequentemente a lucratividade.
• Aumentar a eficiência corporativa, já que coletar e analisar dados é uma tarefa que demanda dedicação e tempo.

  Algumas ferramentas gratuitas:

• Metabase: De acordo com o próprio site, o metabase "é uma forma simples e open source para todos da sua empresa fazer perguntas e aprender por dados". Ou seja, ele faz leitura e interpretação de banco de dados. Conecta com os seguintes bancos de dados: MongoDB, Redshift, Druid e mais. Além de ter builds prontos em algumas plataformas, como Heroku e AWS Elastic Beanstalk
• Elasticsearch e Kibana: Elasticsearch é uma ferramenta de código aberto que pesquisa e análise grandes quantidades de dados muito rapidamente. O Kibana, por sua vez, é o complemento do elasticsearch, pois visualiza e gerencia os dados fornecidos, gerando histogramas, gráficos de linha e alguns outros gráficos.

  Links Úteis

  https://cio.com.br/tendencias/12-principais-ferramentas-de-business-intelligence-em-2019/ https://medium.com/data-hackers/da-extra%C3%A7%C3%A3o-%C3%A0-visualiza%C3%A7%C3%A3o-an%C3%A1lise-de-dados-abertos-utilizando-airflow-redshift-e-metabase-b65cb59309a4 https://uaismart.com/o-que-e-bi-e-para-que-serve/ https://medium.com/data-hackers/pare-de-gastar-grana-com-bi-metabase-em-produ%C3%A7%C3%A3o-d3d69e613ffe

[gabrielm2q]

Docker

---

Breve Resumo

Docker é, basicamente, uma plataforma Open Source para o desenvolvimento, implantação e execução de softwares em contêineres.

• O que é Docker? (trecho de livro): o capítulo do livro apresenta o Docker como "uma plataforma aberta, criada com o objetivo de facilitar o desenvolvimento, a implantação e a execução de aplicações em ambientes isolados". Posteriormente são apresentados alguns benefícios do Docker, como:
  • Possibilidade de manutenção em trechos de software separados, isto é, sem atrapalhar o funcionamento de todo o software;
  • Possibilidade de execução em diversas plataformas após o "empacotamento" do software em container;
  • Virtualização que permite a execução de processos isolados em um mesmo local.
• Instalando o Docker (trecho de livro): o capítulo do livro apresenta guias para a instalação do "ecossistema Docker", composto pela Docker Engine, pelo Docker Compose e pela Docker Machine. Há guias para 3 sistemas operacionais: Linux, MacOS e Windows.
• Comandos Básicos (trecho de livro): o capítulo do livro apresenta uma série de comandos e parâmetros úteis para o "manuseio" do Docker, ensinando atividades úteis como a "listagem dos contâineres existentes, o mapeamento das portas do container (importante para o manuseio das portas dentro e fora do container) , listando os containeres e gerenciando recursos dos containers (processamento e RAM);
• Camadas e controle de versão de imagens (trecho de artigo): o arquivo de imagem do Docker é composto por várias camadas salvas e "combinadas". Tal tecnologia permite um melhor controle das versões do software, de modo que é facilitada a "reversão" de camadas não desejadas.

Recomendação de Livro

• O livro Docker para desenvolvedores apresenta uma excelente introdução ao Docker, passando desde a explicação sobre o que é a plataforma até a aplicação da mesma. Por possuir uma boa divisão de tópicos, pode ser útil para a solução de dúvidas pontuais (como as apresentadas nesse resumo).

Outras fontes de dados

• Red Hat - O que é Docker? (artigo): o artigo faz uma breve apresentação dos projetos do Docker, seguida de uma breve explicação sobre seu funcionamento. Também é apresentada uma comparação com os containers Linux e são apresentadas as vantagens do Docker (dentre elas: modularidade, camadas e controle de versão de imagens, reversão e implantação rápida).
• IBM - What is Docker? (trecho de artigo): o trecho inicial do artigo - que apresenta o que é o Docker - pode vir a facilitar o entendimento sobre o que é a tecnologia. Além disso, o trecho seguinte do artigo apresenta uma breve explicação sobre o funcionamento dos containeres.
• Open Source - Why use Docker e Container utilities;

[Matheuspimentell]

Tecnologias Front-End

Prototipação

Adobe XD

Segundo o próprio site da Adobe, o Adobe XD é uma ferramenta de colaboração e design da experiência/interface do usuário (UX/UI) rápida e avançada.

Além de ser uma ferramenta extremamente poderosa para a prototipação de UX e UI, o Adobe XD faz parte do poderoso, porém pago, adobe creative cloud.

• Alguns vídeos sobre o Adobe XD: O que é o Adobe XD?, Tutorial Adobe XD #01, Usando o Adobe XD na prática.

Figma

O Figma é um editor online de design gráfico focado na criação de experiência e interfaces do usuário (UX/UI) com ênfase na colaboração.

Essa ferramenta permite que uma equipe de designers tenha acesso simultâneo e trabalhe em um projeto ao mesmo tempo, facilitando a colaboração e troca de ideias por meio de brainstorm.

• Alguns vídeos sobre o Figma: O que é o figma?, Figma - pra quem não faz ideia do que é!, Playlist com tutoriais de Figma

Mobile

Android Studio

O Android Studio é um IDE para desenvolvimento na plataforma Android. Baseado no IntelliJ IDEA da Jetbrains, o Android Studio foi feito específicamente para o desenvolvimento de apps Android e, após seu lançamento, substituiu o Eclipse Android Development Tools como IDE primária da Google para desenvolvimento nativo de android.

• Alguns vídeos sobre o Android Studio: Introdução ao android studio, Tutorial de android studio #01

XCode

O XCode é um IDE de software livre da apple para gerenciamento de projetos relacionados com o sistema operacional macOS. no site de desenvolvimento da apple, conseguimos encontrar SDKs para desenvolvimento em iOS.

Web

HTML

HTML é uma linguagem de marcação de hipertexto , não de programação, que é utilizada como bloco de construção mais básico para o desenvolvimento web. É no HTML é definido a estrutura e o significado do conteúdo da web.

Hipertexto se refere aos links que conectam páginas da web entre si, seja dentro de um único site ou entre sites.

• Alguns vídeos sobre HTML: 5 minutos de HTML para iniciar em programação, Curso de HTML, HTML // dicionário do programador

Css

Css vem do Inglês cascading style sheets, ou em português: folhas de estilo em cascata, e é uma linguagem de estilo, não de programação, usada para descrever a apresentação de um documento escrito em HTML ou em XML. O intuito de Css é descrever como os elementos serão mostrados na tela, ou em outras mídias.

• Alguns vídeos sobre Css: Css // Dicionário do programador, O que é css?

JavaScript

JavaScript, ou JS, é uma linguagem leve, interpretada e baseada em objetos com funções de primeira classe, mais conhecida como a linguagem de script para páginas web, mas usada também em vários ambientes sem browser, tais como node.js, Apache, e Adobe Acrobat.

• Alguns vídeos sobre JavaScript: O que o JavaScript é capaz de fazer?, JavaScript (A linguagem mais AMADA e/ou ODIADA) // Dicionário do programador, Felipe Deschamps - JavaScript

Links úteis

• https://www.figma.com/ (em inglês)
• https://www.techtudo.com.br/listas/2021/06/o-que-e-figma-quatro-perguntas-sobre-como-usar-o-site.ghtml (em português)
• https://www.adobe.com/br/products/xd.html (em português)
• https://developer.mozilla.org/pt-BR/docs/Web/HTML (em português)
• https://www.hostinger.com.br/tutoriais/o-que-e-html-conceitos-basicos (em português)
• https://developer.mozilla.org/pt-BR/docs/Web/CSS (em português)
• https://www.hostinger.com.br/tutoriais/o-que-e-css-guia-basico-de-css (em português)
• https://www.javascript.com/ (em inglês)
• https://developer.mozilla.org/pt-BR/docs/Web/JavaScript (em português)
• https://pt.wikipedia.org/wiki/Xcode (em português)
• https://developer.apple.com/xcode/ (em inglês)
• https://www.devmedia.com.br/xcode-ios-introducao-ao-desenvolvimento-para-ios/29987 (em português)
• https://developer.android.com/studio (em inglês)
• https://developer.android.com/ (em português)
• https://pt.wikipedia.org/wiki/Android_Studio (em português)

[AdneMoretti]

Business Intelligence

Também conhecida como BI, Business Intelligence é a combinação de ferramentas e processos que, a partir da análise de dados, mostra visualizações intuitivas, dashboards, etc.

Objetivo

O objetivo do BI é tranformar os dados em estratégias e informações que auxiliam na melhora do desempenho, a conhecer clientes e identificar pontos de melhora nos negócios. A seguir são citadas algumas ferramentas de BI para o melhor entendimento e escolha de tecnologia.

Metabase

É uma ferramenta de código aberto e gratuita, tem vantagens por ser ideal para usuários iniciantes, por ser simples e intuitiva, e ao mesmo tempo ser uma ótima ferramenta para consultas mais complexas.

• Permite o uso de linguagem SQL
• Permite a colaboração entre diversos times
• Exemplo de dashboard Metabase:

Elastic Search

É também uma ferramenta de código aberto que tem grande capacidade de tratar dados em tempo real. Foi produzido a partir de um software chamado Apache Lucene e pode armazenar uma imensa quantidade de dados. Algumas vantagens da utilização do Elastic Search:

• Guarda dados específicos em formatos de documentos, que estão disponíveis em JSON e HTTP;
• Arquitetura bem estruturada;
• Efetuar pesquisas rapidamente.

Kibana

É uma plataforma de análise e visualização de dados, foi projetada para ser utilizada com o Elastic Search. fornecendo recursos de busca e visualização, é possível assimilar um volume alto de dados, compartilhando dashboards dinâmicos. É também uma ferramenta open sorce

• Exemplo de dashboard Kibana:

Google Data Studio

É uma ferramenta gratuita, precisando somente ter uma conta da Google para poder acessá-lo. Por meio dessa ferramenta, é possível visualizar os dados por gráficos e tabelas configuráveis, colaborar com a equipe na geração de dashboards, tem painéis interativos como gráficos de linhas, barras e pizzas, etc. Porém, aparenta ser um pouco complicado no entendimento de suas ferramentas.

Links Úteis

• https://www.elastic.co/pt/kibana/
• https://blog.configr.com/medo-de-bi-pelo-alto-investimento-conheca-o-metabase/