issues
search
dx-junkyard
/
OpenData-Bridge-DataNorm
1
stars
0
forks
source link
Pipeline dev ura
#9
Closed
urashin
closed
11 months ago
urashin
commented
11 months ago
pipeline機能追加に伴う以下の修正と追加
追加
pipeline_executor.py : パイプライン処理を行う(現状、ダウンロードとデータ変換&マージの2機能のみ)
pipeline.yaml:上記パイプラインの定義(サンプル)
file_downloader.py:処理対象のオープンデータをダウンロードする機能
download_config.json:ダウンロード定義(サンプル)
修正
datanorm.py : 動的なimportに対応する修正
requirements.txt:ダウンロード機能に必要なパッケージ追加
pipeline機能追加に伴う以下の修正と追加