takapy0210
commented
3 years ago Meta
- Link: https://medium.com/airbnb-engineering/data-quality-at-airbnb-e582465f3ef7
- Author: Airbnb
- Date: 2020/11/4
どんなもの？（3行ぐらいで）
- Airbnbが成長期に直面したデータの課題と、これらの課題を克服するための取り組みについての記事
- データエンジニアリング組織、アーキテクチャ、ベストプラクティス、データウェアハウスを管理するために使用するプロセスに焦点を当てて、この取り組みを進めるために取られた具体的なアプローチを解説
詳細
データへの投資
以下3点を中心に投資する意思決定をした
- Ownership
- Data Architecture
- Governance
The Data Quality Initiative
- 新しいプロセスと技術を使ってデータウェアハウスを一から再構築する大規模なプロジェクトを実施
- 5つの主要な目標を置いた
- すべての重要なデータセットの明確な所有権が把握できること
- 重要なデータが常にSLAを満たしていること
- パイプラインがベストプラクティスを使用して高品質な基準で設計されていること
- 重要なデータが信頼でき、日常的に検証されていること
- データが十分に文書化され、容易に発見できるようにすること
具体的なDWH構築のためのアプローチ
- Data Engineering Roleを作った
- データモデリング、パイプライン開発、ソフトウェアエンジニアリングなど、いくつかの分野に強いことが用件
- 中央データエンジニアリングチームと、各ブロダクトチームにデータエンジニアを配置する構造にした
- データエンジニアリングコミュニティをより良く結びつけるために新しいコミュニケーションチャネルを作成した
- データエンジニアリング業務の成長に向けて積極的に採用活動を行った
Architecture and Best Practices
- データプラットフォームとしてMinervaを開発した
- 正規化データとサブジェクト領域ベースのデータモデルを原則として設計した
- パイプラインの導入に関する推奨事項を大幅に変更した
- Sparkへの移行
- データパイプラインのテストを追加
- データ品質チェックや異常検知を実行するためのツールを構築
- SLAを定義した
Governance
- 高い品質水準を維持するために、Midasの認証プロセスを開始した
Accountability
- データ品質のバグを報告するためのプロセスを刷新し、優先度の高いバグについて議論し、是正措置について調整するための週1回のバグレビュー会議を設計
- データパイプラインSLAを四半期ごとのOKR計画に組み込むことをチームに義務付けた
かんそう
- この認証フローは今のヘイシャだとtoo muchだけど、参考にはなりそう
- この辺めっちゃ大事だよな〜
- 重要なデータが信頼でき、日常的に検証されていること
- データが十分に文書化され、容易に発見できるようにすること
個々人の知識を縦横に広げてレベルアップをするのが目的です。
Main contents
TBD
Others