Implementar integrações com ferramentas de análise de dados

[aureliowozhiak]

Criar integrações com ferramentas populares de análise de dados, como Jupyter Notebooks, para facilitar a análise dos dados no Data Lake.

[RVegh]

@aureliowozhiak pode detalhar um pouquinho melhor o que pensou pra essa issue, por gentileza? Ai sei melhor por onde começar a pensar

[aureliowozhiak]

@RVegh a principio queria fazer alguma visualização dos dados em .csv e .json que fossem pré-extraidos, a ideia basicamente é isso, mas tem espaço pra melhorar a forma como vamos ter uma pré-visualização desses dados antes de fazer uma limpeza/transformação mais avançada. Se precisar pode me chamar

tinha começado isso aqui:

https://github.com/aureliowozhiak/DLaaS/blob/master/view_data.ipynb

[RVegh]

@aureliowozhiak , to criando por aqui, mas fica alguns pontos:

• acha melhor uma função para cada tipo de arquivo/ pré visualização pra evitar funções muito grandes? Até pq pode acontecer de jogarmos isso pra alguma classe ou algo do tipo.
• é legal inserir logs nas funções?

[aureliowozhiak]

cara, é bom ter essa separação, mas é interessante ter um metodo q consiga tratar e "escolher" a função que será chamada, eu faria: def view_csv(), def view_json(), etc e uma função def viewData() que iria receber qualquer arquivo e "escolher" com base no arquivo a função correta, mas é só uma ideia

não sei se faz sentido colocar logs nesse nivel, temos que avaliar isso