Ra99it
commented
2 months ago 데이터 디스커버리 플랫폼이란?
데이터를 편하고 쉽게 검색하고, 빠르게 이해할 수 있는 플랫폼입니다. 테이블의 위치와 테이블의 metadata 뿐만 아니라 데이터 책임자, 관련된 문서 등등 까지 관리할 수 있는 데이터 중앙 플랫폼입니다.
왜 필요한가요?
먼저 프로젝트의 의미부터 살펴보자면, 데이터가 잘 흐를 수 있는 환경 또는 조직이 될 수 있도록 구축하는 것 입니다. 데이터를 분석가 또는 과학자만이 사용할 수 있도록 하는 것이 아니라 비전문가인 경영팀, 마케팅팀 등이 필요할 때 누구나 사용할 수 있는 환경을 추구합니다.
데이터를 적극적으로 활용하는 기업이라면 사내의 데이터를 활용해 데이터 분석, 머신러닝, 데이터 기반 기획등을 하고 있습니다. 데이터가 점점 많아지는 상황에 데이터가 어디에 있는지, 어떤 의미를 가지고 있는지 파악하는데 시간을 소요하게 되면 업무 효율성은 매우 떨어지게 될 겁니다. 데이터 디스커버리 플랫폼을 도입하여 이러한 비효율성을 줄일 수 있도록 합니다.
이러한 이유로 데이터 디스커버리 플랫폼을 적극적으로 구축을 결정했습니다.
관련 문서
https://tech.socarcorp.kr/data/2022/02/25/data-discovery-platform-01.html https://blog.banksalad.com/tech/the-starting-of-datadiscoveryplatform-era-in-banksalad/
문제설명(Descripion)
현재 아키텍처 (V 1.1.0 기준)
문제 제기
데이터 소비자는 많은 양의 데이터 중 원하는 데이터를 쉽게 찾을 수 있나요?
어느 데이터가 어디에 있는지, 이 데이터가 무슨 의미를 내포하고 있는지 이러한 정보가 없으면 데이터를 이용하기 불편할 것 입니다. 또한 테이블을 누가 생성했고 데이터의 책임자는 누구인지, 관련된 문서와 지표가 필요합니다.
예상 문제
가능한 해결책(Solutuon)
데이터 거버넌스 확립 데이터 거버넌스란 데이터의 보안, 개인정보 보호, 정확성, 가용성 사용성을 보장하기 위한 모든 규칙, 작업을 말합니다. 이러한 데이터 거버넌스를 뚜렷하게 확립합니다.
데이터 디스커버리 플랫폼(DDP) 구축
대규모 데이터 환경에서의 모든 데이터를 편하게 검색하고, 빠르게 이해할 수 있도록 제공해주는 플랫폼입니다.