yamamoto-ryuzo / TokyoOD_downloader

0 stars 0 forks source link

TokyoOD_downloader

本体はこちらからダウンロードも可能(20240908版)
システム概要はこちら

最終目標

東京都オープンデータカタログサイトからオープンデータ一覧をダウンロードして、CSVデータのうち位置情報のあるデータを抽出し、ダウンロードしたデータは以下でPostgRESTとして公開予定。
 https://github.com/yamamoto-ryuzo/PostgREST-installation-Japanese-memo/blob/main/使用方法.md

【動作フロー】

  データ検索 > カタログデータ一覧取得 > 実データ一括ダウンロード

【CSVのみの追加フロー】

  UTF-8の文字コード統一 > 座標データを仕訳(EPSG:4326と仮定) > ファイルの統合 > GPKG作成

東京都オープンデータカタログサイトの仕様

取得可能データ属性

データセットID,データセットタイトル,データセット説明,タグ, タグ(読み),ライセンス,組織,事業説明等のページ,
データ所管部署,データセット作成日時,データセット最終更新日時,更新頻度,カテ ゴリ(分類),データタイトル,
データURL,データ説明,形式,サイズ,並び順,データ作成日時,データ最終更新日時

仕様

 ・対応ファイル形式
   CSV(CSV以外の形式はダウンロードまで可能。。。たぶん。。。動作確認してません。)
 ・文字コードは UTF-8 に統一
 ・CSVデータをダウンロードした場合、座標値を含むものとそうでないものも仕分け
     座標値あり:GIS_元のファイル名
     座標値なし:NON_元のファイル名
 ・EPSG:4326 - WGS 84

利用方法

以下を同じフォルダに設置してください。
  本体:TokyoOD_downloder.exe
作成されるフォルダ
  ダウンロードする予定のURL一覧:./download/dataURLList.csv
  ダウンロードしたデータ本体:./dowqnload/data   ※注意 毎回起動時に自動削除します。

画面入力(サンプルが入っています)

organization:t131105 title:トイレ
   ↑目黒区のコード   ↑「title:検索対象」データセットタイトルで検索
datatype=csv
image

出力サンプル

マージデータ:

 ルートフォルダにマージファイルは作成されます
 作成されるファイルはGISデータをもつCSVファイル、GPKGファイル
image

ダウンロードする予定のURL一覧:./download/dataURLList.csv

image

ダウンロードしたデータ本体:./dowqnload/data

image