BIG DATA ECOSYSTEM - MODERN DATA STACK COM DOCKER
Ambiente para estudo dos principais framework de um ambiente moderno de dados utilizando docker.
SOFTWARES NECESSÁRIOS
Para a criação e uso do ambiente vamos utilizar o git e o Docker
SETUP
Em um terminal/DOS/PowerShell, realizar o clone do projeto no github.
git clone https://github.com/fabiogjardim/mds.git
Ao realizar o clone do repositório, o diretória mds será criado em sua máquina local.
Executar o scritp.bat para fazer download das imagens.
Todas as imagens serão baixadas para a maquina local.
É indicado subir apenas os containers para o worload que será utilizado/testado.
INICIANDO O AMBIENTE*
EXEMPLOS DE COMO INICIR O AMBIENTE
No Windows abrir PowerShell, do Linux um terminal e acessar o diretório mds
Para iniciar um ambiente com Data Lake e Spark
docker-compose up -d minio spark-worker
Para iniciar um ambiente com Ingestão de dados com CDC no Postgres utilizando Kafka
docker-compose up -d minio kafka-broker kafka-connect nifi postgres
SOLUCIONANDO PROBLEMAS
Parar verificar os containers em execução
docker ps
Parar um containers
docker stop [nome do container]
Parar todos containers
docker stop $(docker ps -a -q)
Remover um container
docker rm [nome do container]
Remover todos containers
docker rm $(docker ps -a -q)
Dados do containers
docker container inspect [nome do container]
Iniciar um container específico
docker-compose up -d [nome do container]
Iniciar todos os containers (CUIDADO, é muito pesado)
docker-compose up -d
Acessar log do container
docker container logs [nome do container]
Acesso WebUI dos Frameworks
Usuários e senhas
Superset
Usuário: admin
Senha: admin
Metabase
Usuário: admin@mds.com
Senha: admin
Postgres
Usuário: admin
Senha: admin
Minio
Usuário: admin
Senha: minioadmin
Pinot
Usuário: admin
Senha: admin
Kibana
Usuário: admin
Senha: admin
CloudBeaver
Usuário: admin
Senha: admin
Imagens
Docker Hub
Documentação oficial dos ambientes em container