Open sakamomo554101 opened 3 years ago
https://kedro.readthedocs.io/en/stable/04_kedro_project_setup/01_dependencies.html
requirements.inを更新して、txtを作成して、installする感じ
なるほどー、マネージドサービス上でパイプラインを動かす場合、Runnerを拡張すれば良い、という発想になるのか。
https://zenn.dev/nameless_gyoza/articles/argo-wf-20200220 argoって、k8sのworkflowツールみたいな感じか。(kubeflowを使えばいいのかもしれんが・・)
https://kedro.readthedocs.io/en/latest/10_deployment/02_single_machine.html single machine deploymentだから、当然パイプライン処理を一つのVM含むマシン上での実行となる。
https://kedro.readthedocs.io/en/latest/10_deployment/01_deployment_guide.html distributed deploymentで、ノード単位かわからんが、パイプラインを分割して、分散処理できそうに見える。
Pipeline.node_dependenciesって、なんだ?
https://kedro.readthedocs.io/en/latest/10_deployment/03_distributed.html#parameterise-the-runs nodeごとに実行できるのはわかったが、結果をどうマージするんだ・・・?
https://discourse.kedro.community/t/kedro-pipelines-few-number-of-big-nodes-or-large-number-of-small-nodes/351 関連してそうで、してないかも? (kedroのnodeをそれぞれのコンテナーなりで実行すること)
https://www.kubeflow.org/docs/components/pipelines/overview/pipelines-overview/ kubeflowについてもちょっと調べてみる。 (kedro -> kubeflowで動作させることで、各ノードが別々のコンテナなり環境で分散処理できるかも)
kubeflowでのオペレーター作成時に、パイプラインの各ノードがoperatorと対応していれば、docker コンテナがノード単位でできるかもしれない。 https://github.com/kubeflow/pipelines/blob/master/samples/core/xgboost_training_cm/xgboost_training_cm.py
https://kedro.readthedocs.io/en/latest/10_deployment/06_kubeflow.html#create-a-workflow-spec 上記見ると、下記コードで、kedroのnodeをkubeflowのdsl.ContainerOpに変換して、パイプラインとしているので、 node単位でコンテナを構築するような構成となる。