data/2022/03/16/metdata-platform-02.html

안녕하세요? 관심있는 주제와 관련해서 재밌는 주제로 글을 공유해주셔서 감사합니다.

관심있게 보고 있는 시스템이라 몇가지 궁금한 점이 있어서 문의드립니다 :) 어쩌면 다음 주제에서 말씀을 주실 수도 있겠네요.

- Datahub을 결정함에 Technical 메타 관점에서 어떤 고민을 하였는지 궁금하네요. 이전 글은 대부분 비즈니스 메타와 데이터 거버넌스 관점을 많이 고려하셨는데, Datahub을 기반으로 데이터관련 서비스(인, 아웃 모두)에 메타데이터 활용도를 높이기 위함이나 데이터 운영관점에서 고민했던 부분이 있으셨다면 좀 더 들어보고 싶습니다!

- Technical 메타의 중요성에 대해 고민한다고 하면 GCP 내 Google Cloud Data Catalog와는 어떤 관점에서 비교하였는지 알 수 있을까요? 추가로 DataHub 문서에도 LinkedIn 내 Data Mesh 아키텍쳐를 위한 시스템으로 활용되고 있음을 알 수 있는데요. 혹시 관련하여 추후 Datahub의 활용도를 높이는 방향에 대해 고민하고 있는 것이 있으실까요?

- 개인적으로 Datahub 라는 시스템에 가지고 있는 관점은 작은 데이터들의 집합을 만들기에는 생각보다 큰 시스템이라는 생각입니다. 거버넌스의 관점 일배치 ingestion, web UI에만 사용을 위해서 Kubernetes 클러스터를 사용하기에는 비용측면의 관점도 필요할 것으로 보이는데요. 구성할 때 리소스는 어느 정도를 사용하셨을까요? (민감할 경우 무시하고 가셔도 됩니다..!)

- 더불어서 ingestion을 REST 기반으로 하시고 kafka 등에 대한 활용은 안하신 것으로 보이는데요. kafka, ES 구성, 활용에 대해서는 따로 고민하신 부분이 있으실까요?

국내에서 사용하는 곳이 많지 않은 것 같아서 얘기를 나누어볼 기회가 없겠다 생각하고 있었는데 멋진 서비스 구축과 좋은 글 공유해주셔서 감사합니다 :)

This comment was made by Disqus. 2022-03-18 12:15:23 Seungmin Heo

socar-inc / techblog-comments

data/2022/03/16/metdata-platform-02.html #23

데이터 디스커버리 플랫폼 도입기 - 2편. GKE에 Datahub 구축하기