Open orfeon opened 5 years ago
DataflowのTextIOが途中ファイルを出力する際の注意点をまとめる。
DataflowでTextIOを使うと途中ファイルを書き出して最後にまとめる挙動をしている。 そのために一見関係ないことで悪影響を及ぼすことがあるのでそうした影響をまとめる。 (凍結したGCSに途中ファイルを書き出して削除しようとしてJobが失敗するなど)
WHAT
DataflowのTextIOが途中ファイルを出力する際の注意点をまとめる。
WHY
DataflowでTextIOを使うと途中ファイルを書き出して最後にまとめる挙動をしている。 そのために一見関係ないことで悪影響を及ぼすことがあるのでそうした影響をまとめる。 (凍結したGCSに途中ファイルを書き出して削除しようとしてJobが失敗するなど)