[BUG]

[PTson2207]

Mô tả bug

• Tên bug: DAG Import Errors
• Xảy ra ở bài (link tới bài): Xây dựng pipeline trong chương Data pipeline(https://courses.mlops.vn/mlops-crash-course/data-pipeline/xay-dung-data-pipeline/)
• Xảy ra ở bước (ảnh của nội dung bài hướng dẫn, tại bước xảy ra bug): Sau khi start service airflow thành công, em tiếp tục chạy lệnh "make deploy_dags(em phải run lệnh này bằng sudo make deploy_dags thì mới được nếu không dùng sudo thì bị permission denied)" để coppy các dags từ mlops_crash_course_code sang mlops_crash_course_platform, sau đó em mở localhost lên thì bug xuất hiện.

Cách tạo lại bug

1. Đi tới:

   bash run.sh airflow up (start service airflow trong mlops_course_platform)
   cd data_pipeline
   sudo make deploy_dags

2. Click vào localhost:8088 sau đó đăng nhập account và password
3. Kéo xuống phần: DAG Import Errors
4. Xuất hiện lỗi

Expected behaviors Đầu ra mong muốn là xuất hiện 3 dags: db_to_offline_store, materlize_offline_to_online, stream_to_stores

Attachments Đính kèm lỗi dạng ảnh hoặc dạng text Specs

• System:
• OS: ubuntu 20.04
• CPU: 11th Gen Intel(R) Core(TM) i7-1165G7 @ 2.80GHz
• GPU: none
• Software: thông tin về version của docker, docker-compose, software tools, etc.
• Docker: Docker version 20.10.20, build 9fdeb9c
• docker-compose: docker-compose version 1.29.2, build 5becea4c

Additional context Bất kì điều gì khác

[quan-dang]

@PTson2207 thêm bước này trước khi ấn run dag xem sao nha https://github.com/MLOpsVN/courses.mlops.vn/pull/64/files#diff-92f73c35a7af1fde5b05576ffd545d2923d7f673a2e98a72700c9b7bb45aa2e5R183

[PTson2207]

Em cảm ơn anh @quan-dang, dags đã chạy bình thường ạ. Em nghĩ là nên đưa bước này thêm vào phần Xây dựng data pipeline để những người chưa biết gì như em không lặp lại lỗi ạ.

[dao-duc-tung]

@quan-dang a thấy có vài thứ liên quan thế này

1, Giải thích nhầm

chỗ này phải là DEFAULT_DOCKER_OPERATOR_ARGS

2, Nhầm code

command bị sai, ko match với file data_pipeline/dags/materialize_offline_to_online.py

3, Giải thích về DEFAULT_DOCKER_OPERATOR_ARGS và MLOPS_CRASH_COURSE_CODE_DIR nên được đặt ở bài data pipeline

Hiện tại, giải thích về các biến này đang được đặt ở training pipeline, em move giúp a sang bài data pipeline nhé, vì bài data pipeline là nơi đầu tiên xuất hiện các biến này

[dao-duc-tung]

@quan-dang thank em đã update, em fix vài minor issues này nữa là ổn

1, Nhầm code

Code của biến DEFAULT_DOCKER_OPERATOR_ARGS đang lấy từ file training_pipeline/dags/utils.py. Trong bài data pipeline thì cần lấy từ file data_pipeline/dags/utils.py

2, Nhầm text

Mấy chữ training pipeline cần đc đổi thành data pipeline

3, Thiếu bước build image

Em thêm giùm a lệnh make build_image vào đây, trước khi deploy dags nha

[quan-dang]

@dao-duc-tung da fix nhe anh