[dados] Estruturar ontologia e organização para queries

basedosdados / mais

⚙️ Código de manutenção do datalake (metadados e pacotes de acesso) | 📖 Docs: https://basedosdados.github.io/mais/

https://info.basedosdados.org/links

MIT License

392 stars 88 forks source link

[dados] Estruturar ontologia e organização para queries #1211

Open rdahis opened 2 years ago

rdahis commented 2 years ago

Desafio

Ter um sistema de gestão de consultas/views/tabelas nativas que escale para uso interno e para projetos com clientes. Tem que ser fácil buscar, entender, editar, aplicar no Metabase, etc.

Solução ideal

Uma busca no site, com metadados e ligações ao BigQuery. Criaríamos uma aba "análises" com uma busca própria.

Metadados relevantes: organização, nível da observação, cobertura espacial, cobertura temporal, colunas, etc.

Solução provisória

Estabelecer (1) estrutura de pastas (datasets/tables), (2) ontologia de nomeação, (3) manual de estilo para escrita de queries.

Exemplos

Ontologia SMTR: https://github.com/RJ-SMTR/maestro/wiki/Ontologia-de-nomea%C3%A7%C3%A3o-Datasets-e-Tabelas

rdahis commented 2 years ago

Acumulando minha primeira versão pra BD aqui: https://github.com/basedosdados/.github/wiki/An%C3%A1lises

rdahis commented 2 years ago

Encaminhamentos da reunião com @d116626 e @fernandascovino:

Definir ontologia de nomeação de perguntas
@gabriel-milan: refletir sobre criar nível organization no repositório queries
Como pensar em tabelas auxiliares (necessário para análises complexas, sub-queries, dados gigantes)
Criar exemplos de tabelas de metadados
Ver como subir a documentação do DBT, se é possível definir novos metadados e se tem como subir o DBT cloud
Estudar API do Metabase: https://www.metabase.com/docs/latest/api-documentation.html
Testar se adicionar nova coluna em tabela quebra os modelos e perguntas no Metabase

rdahis commented 2 years ago

Pontos para o futuro:

table: fonte da verdade é o repositório queries com dbt, com metadados na tabela separada ou virtuais (como no CKAN)
question: fonte da verdade é o Metabase, metadados na tabela separada, por enquanto sem versionamento
- evangelizar clientes para preencher metadados também quando criarem perguntas
- tem como saber metadados básicos via API do Metabase? Data de criação, url, título, etc.
- se mudar título, ele automaticamente vai mudar o question_id => atualizar no metadado
clientes terão:
- projeto no GCP
- repositório de queries
- agent no prefect (cada agent tem sua própria credencial e seu billing)

rdahis commented 2 years ago

Pra ler sobre opções de mono-repo ou não do dbt: https://discourse.getdbt.com/t/how-to-configure-your-dbt-repository-one-or-many/2121