Modelagem física do repositório: particionamento de dados

[calgarcia]

Objetivo: montar particionamento nos dados para garantir desempenho no acesso Sub-tasks:

• estudar como o particionamento é implementado no stack atual (minio, iceberg, spark, postgresql)
• rodar alguns experimentos para ganho de conhecimento
• obter modelo de dados do repositório
• identificar e listar colunas candidatas a chave de particionamento
• alterar/gerar DDL das entidades com o particionamento
• implantar particionamento

• validar particionamento a partir de alguns cenários

  Desenvolvimento: https://iceberg.apache.org/docs/latest/reliability/?ref=blog.min.io https://www.techtarget.com/searchstorage/definition/erasure-coding https://min.io/docs/minio/kubernetes/gke/operations/concepts/erasure-coding.html#minio-erasure-coding https://min.io/docs/minio/kubernetes/eks/operations/concepts/availability-and-resiliency.html https://min.io/solutions/modern-data-lakes-lakehouses?utm_source=google&utm_medium=search&utm_campaign=datalake&utm_content=datalake-new-web-page&utm_term=&utm_campaign=&utm_source=adwords&utm_medium=ppc&hsa_acc=8976569894&hsa_cam=20593618271&hsa_grp=&hsa_ad=&hsa_src=x&hsa_tgt=&hsa_kw=&hsa_mt=&hsa_net=adwords&hsa_ver=3&gad_source=1&gclid=Cj0KCQjwlN6wBhCcARIsAKZvD5gsRSp86O-AqrqrDBIvED2EraXeVM5U6ekcIfmLc4o-u9vbmHeK7WIaAgiLEALw_wcB https://blog.min.io/lakehouse-architecture-iceberg-minio/ https://spark.apache.org/docs/latest/sql-performance-tuning.html#other-configuration-options https://iceberg.apache.org/docs/latest/partitioning/#problems-with-hive-partitioning https://iceberg.apache.org/spec/