Configurar Ambiente de Experimentação para o Laboratório

[petroniocandido]

:ledger: Description

Configurar uma interface inicial de acesso ao FLautim para os usuários do laboratório, que os permita usufruir da infraestrutura e APIs em seus experimentos.

• Guia de Referência do JupyterHub: https://z2jh.jupyter.org/en/stable/jupyterhub/installation.html

:dart: Objectives (SMART)

1. Permitir acesso individualizado e seguro aos recursos físicos (em particular as GPUs) e lógicos (APIs e serviços) do FLautim
2. Oferecer uma interface de alto nível para prototipagem e experimentação ad-hoc (Jupyter Notebooks)
3. Oferecer uma interface de baixo nível para experimentação em lote

:bar_chart: Key Results

1. Acessibilidade dos usuários do laboratório à infraestrutura do FLautim
2. Testagem da infraestrutura física e lógica, obtendo feedback precoce de seus componentes

:truck: Deliverables

• [ ] Infraestrutura JupyterHub com contâiners por usuário, restrito à suas pastas e arquivos, contendo todas as bibliotecas pré-instaldas do FLautim
• [ ] Serviço de autenticação de autorização integrado à Interface Web

[petroniocandido]

• Instalação do JupyterHub via Helm, com a instalação mais básica

  $ helm repo add jupyterhub https://hub.jupyter.org/helm-chart/
  $ helm upgrade --cleanup-on-fail  --install jupyterhub jupyterhub/jupyterhub

• Reunião com @marceloqao para discussão da infraestrutura física e de acesso (port forwards) ao servidor Soul, onde o Minikube está hospedado e o deploy do JupyterHub está instalado
• Na Soul há um servidor Apache rodando nas portas 80 e 443, e essas portas estão abertas para fora do DCC [via port forward]
• Nesse caso a melhor solução é implementar um Virtual Directory no Apache redirecionando para o serviço do JupyterHub

[petroniocandido]

• Há um problema conhecido de acesso externo ao LoadBalancer do JupyterHub por causa do Minikube. Na instalação em produção [com o Kubernetes Cluster] esse problema não deverá acontecer. FONTE: https://stackoverflow.com/questions/44110876/kubernetes-service-external-ip-pending
• A solução de momento é com o comando minikube tunnel

[petroniocandido]

• Liberação de acesso externo kubectl port-forward service/proxy-public 8080:http
• Todas as customizações são realizadas pelo arquivo de configuração config.yaml e aplicadas com o seguinte comando:

  $ helm upgrade --cleanup-on-fail jupyterhub jupyterhub/jupyterhub  --values config.yaml

• Referências de valores:
  • https://github.com/jupyterhub/zero-to-jupyterhub-k8s/blob/HEAD/jupyterhub/values.yaml
  • https://z2jh.jupyter.org/en/latest/resources/reference.html
• Autenticação e autorização: https://z2jh.jupyter.org/en/stable/administrator/authentication.html#ldap-and-active-directory
• Customização da imagem docker: https://z2jh.jupyter.org/en/stable/jupyterhub/customizing/user-environment.html
• Customização dos limites de memória e cpu por usuário: https://z2jh.jupyter.org/en/stable/jupyterhub/customizing/user-resources.html
• Montagem de volumes: https://z2jh.jupyter.org/en/stable/jupyterhub/customizing/user-storage.html
• Otimizações diversas: https://z2jh.jupyter.org/en/stable/administrator/optimization.html