search

ahnsv / humphrey-blog-comments

0 stars 0 forks source link

blog/efficient-elt-pipelines-with-dbt #6

Open utterances-bot opened 1 year ago

utterances-bot commented 1 year ago

dbt로 ELT 파이프라인 효율적으로 관리하기

배경

https://www.humphreyahn.dev/blog/efficient-elt-pipelines-with-dbt

seunggabi commented 1 year ago

잘 보고 갑니다. aws 환경에서 airflow 로 ELT 하게 되는데 (spark emr + athena) dbt 사용이 쉽지 않다는 말씀이시겠죠?

Yangeok commented 7 months ago

dbeaver로 dbt 테이블을 보더라도, 데이터 리니지를 보더라도 버전관리가 쉽지 않을 것 같은데, 테이블 메타에 버전이 명시되는건가요? git을 쓴 버전 관리는 jinja 템플릿 쿼리 파일의 코드를 버전 관리한다는 의미인가욤??

ahnsv commented 7 months ago

@Yangeok 메타에는 버전이 명시되지는 않고 dbt model들을 git 상에서 semenatic versioning한다는 의미였습니다