Import manual (Japanese/English) draft

[ibuki76]

• Japanese
• English

[SotaSuzuki-1327]

PLATEAU 建物データ: OpenStreetMap へのインポート手順（下書き）

• PLATEAU プロジェクトで公開される3Dデータの建物オブジェクトについて、 OpenStreetMap へインポートする手順を記載します。
• インポート全体に関する情報については、 OSM wiki: JA:MLIT PLATEAU/imports outline を参照してください。
• 以下の作業を始める前に、最新版 JAVAとJOSM をPCにインストールしておいてください。

1. 対象地域の citygml ファイルをダウンロードする

作業対象のファイルを、G空間情報センターからダウンロードします。

• 3D都市モデル（Project PLATEAU）ポータルサイト
• ダウンロードする際には、CityGML形式を選択します。

ファイルのダウンロードが終わったら、 zip ファイルを展開します。建物データは、展開したディレクトリの udx/bldg 配下に格納されています。

gml ファイルをテキストエディタで開き、 <uro:surveyYear>2017</uro:surveyYear> のように、測量年を確認する。

• 既存 OSM データが 測量年より新しくマッピングされている、もしくは 最新の衛星画像/航空写真との比較で PLATEAU データのほうが古いかの確認で必要になります。

2. 変換スクリプトのダウンロード

yuuhayashi / citygml-osm より変換スクリプトをダウンロードします。

• コンパイルされたスクリプトが、release 配下から配布されています。
• 変換スクリプトのバージョンは更新されていきますが、そのときの最新版を利用することを推奨します。

ダウンロードしたファイルを展開し、citygml-osm-jar-with-dependencies.jar を、 PLATEAU の建物データ（ citygml 形式, デフォルトでは udx/bldg 配下）を展開したファイルに格納します。

3. 1st-3rdまでのスクリプトを回す

ターミナル（あるいはコマンドラインや Powershell など）を起動し、citygml を展開したフォルダに移動します。

移動したら、以下のコマンドを入力します。

$ java -Dfile.encoding=utf-8 -jar citygml-osm-jar-with-dependencies.jar 1st

$ java -Dfile.encoding=utf-8 -jar citygml-osm-jar-with-dependencies.jar 2nd

$ java -Dfile.encoding=utf-8 -jar citygml-osm-jar-with-dependencies.jar 3rd

それぞれのコマンドでは、以下の処理が行われます。

• 1st: CityGML データを .osm 形式に変換し、 .osm 形式として保存する
• 2nd: それぞれの .osm ファイルのデータ範囲のデータを osm.org からダウンロードし、 .org.osm 形式として保存する
• 3rd: .osm と .org.osm を比較・マージすることで mrg.osm 形式のファイルを出力し、保存する

この処理により、同じ名称で拡張子の異なるファイルが4種類 ( .gml , .osm , .org.osm そして .mrg.osm ) できあがることになります。

なお上記のコマンドは、配布されているスクリプトに同梱されている run.sh （あるいは run.bat ）をキックしても、同じ結果が得られます。

スクリプトは、同じディレクトリに格納されているすべての gml ファイルに対して実行されます。そのため、ファイル数が多いとそれなりに処理時間がかかります。必要に応じて、適宜ディレクトリを分けるなどの対応を行ってください。

4. .mrg.osm ファイルをJOSMで開く

拡張子 .mrg.osm のファイルを JOSM で読み込みます。 mrg.osm ファイルをJOSMでインポート後、背景に OSM画像レイヤを表示するとわかりやすくなります。

JOSM を使う以下の作業は、読み込まれたファイルを編集して、インポートしたくないオブジェクトを削除することが目的です。

5. todo プラグインのインストール

以下の手順で todo プラグインを使用可能にします。

• JOSM のメニューを開き、プラグイン設定タブを開きます。

• todo プラグインにチェックを入れ、 "OK" を押すとプラグインがインストールされます。

  

• インストールが終わったら、インストールを有効化するため、JOSM を再起動します。

• 再起動が終わったら、JOSM 画面左側のプラグイン一覧から todo プラグインを有効化します。

• プラグインが有効化されると、JOSM 画面左側のペインに todo プラグインが表示されるようになります。

6. フィルタの設定

JOSM のフィルタに、以下4つのフィルタを設定します。

• "MLIT_PLATEAU:fixme"=*
• "MLIT_PLATEAU:fixme"="PLATEAUデータで更新されています"
• "MLIT_PLATEAU:fixme"="delete 削除されます"
• type:node

合成されたファイルである .mrg.osm では、既存の OSM データと PLATEAU データが同じ領域で重なる部分があった場合、対象のオブジェクトに "MLIT_PLATEAU:fixme" タグが付与されています。この対象のオブジェクトをインポートすべきか人間が確認し、適切に処理する必要があります。

基本的に、この "MLIT_PLATEAU:fixme"=* を処理してゆくことで、アップロード可能な状態のファイルを作成することができます。 JOSM のフィルタを利用することで、対象のオブジェクトを発見しやすくしましょう。

"MLIT_PLATEAU:fixme"=*に含まれる値の解説

• "MLIT_PLATEAU:fixme"=*には、以下2つのどちらかの値が格納されています。
  • "MLIT_PLATEAU:fixme"="PLATEAUデータで更新されています"
  • "MLIT_PLATEAU:fixme"="delete 削除されます"

7. .mrg.osmの編集

JOSM で .mrg.osm を編集します。

• このデータの編集を行う際、「オブジェクトの移動」や「タグの変更」など、「オブジェクトの削除」以外の操作は絶対に行わないでください。
• 後続のupdate処理では、不要なオブジェクトが削除されているだけで、タグ内容は変更されていないことを前提として動作します。オブジェクトの内容が変更されると「動作不定」になってしまいます。

"MLIT_PLATEAU:fixme" が付与されていないデータの確認

"MLIT_PLATEAU:fixme"=* のフィルタを有効化し、タグがついていないデータ（つまり、PLATEAU データそのままのオブジェクト）だけを表示させます。

背景画像に Bing や Maxar など、なるべく撮影年度の新しい衛星写真をセットし、明らかに現状存在しない建物オブジェクトがある場合、そのオブジェクトを削除します。このとき、 1. の手順で確認した gml データの測量年と背景画像の撮影年を比較し、常に新しいほうに合わせてオブジェクトの削除を行ってください。

*`"MLIT_PLATEAU:fixme"=` が付与されたデータへの対応**

type:node と "MLIT_PLATEAU:fixme"="delete 削除されます" のフィルタを有効化した状態で、"MLIT_PLATEAU:fixme"="delete 削除されます" をインバース（反転）し、ショートカットキー <Ctrl + A> を押し、レイヤー内のオブジェクトを全選択します。

これにより、オブジェクトを選択する際にノードが選択されないようになります。

"MLIT_PLATEAU:fixme"="PLATEAUデータで更新されています" に関する処理

• OSM の既存データから、 PLATEAU データの形状への置換が行われる予定のオブジェクトです。

• 目視によるチェックや修正作業を行い、アップロードしてもよい形状であることを確認します。

• これらの建物形状データは、以下の特性を有しています。

  • 建物形状: PLATEAU 側の形状を利用
  • タグ: 既存と PLATEAU の両方をマージしたもの（タグのマージ方針については GitHub を参照してください）

• 次に、レイヤーを選択し、 type:node と "MLIT_PLATEAU:fixme"=PLATEAUデータで更新されています のフィルタを有効化した状態で、ショートカットキー <Ctrl + A> を押し、レイヤー内のオブジェクトを全選択します。

• タグが付与されたオブジェクトが全選択されたら、その状態で todo プラグインの + ボタンを押して、対象のオブジェクトが todo リスト内に格納され、チェックリストを作成します。

  

• 背景画像に osm.org のタイル画像と、撮影年度の新しい衛星写真の2つを設定し、 OSM に存在する既存の建物との位置関係を確認してください。

  • もしオブジェクトの形状やタグに問題がなく、インポートができると判断できれば、 todo プラグインの ✔マーク ボタンを押します。
  • もし "MLIT_PLATEAU:fixme"="PLATEAUデータで更新されています" のタグがあるオブジェクトの位置が間違っている場合、そのオブジェクトを削除してください。削除することで、既存の OSM データが優先され、形状の更新が行われなくなります。

• 次の処理で使うため、 "MLIT_PLATEAU:fixme"="PLATEAUデータで更新されています" のタグは削除しないでください。

"MLIT_PLATEAU:fixme"="delete 削除されます" に関する処理

• このタグが付与されたオブジェクトは、何らかの理由で削除が提案されています。

• 例えば、3戸の既存建物が存在する箇所が、2戸のPLATEAUオブジェクトに統合される場合、統合からあぶれた1戸が ”delete” となります。

• 更新されていますのオブジェクトの手順と同様、レイヤーを選択し、 type:node と "MLIT_PLATEAU:fixme"="delete 削除されます" のフィルタを有効化した状態で、ショートカットキー <Ctrl + A> を押し、レイヤー内のオブジェクトを全選択します。

• タグが付与されたオブジェクトが全選択されたら、その状態で todo プラグインの + ボタンを押して、対象のオブジェクトが todo リスト内に格納され、チェックリストを作成します。

  

  • osm.org のタイル画像や、撮影年度の新しい衛星写真と比較し、削除して問題ないことが確認できた場合は、todoプラグインの ✔マーク ボタンを押してリストから消込を行い、このタグ（"MLIT_PLATEAU:fixme"="delete 削除されます"）をもつオブジェクトをそのままにしてください。

  • この建物形状を残したい場合は、 "MLIT_PLATEAU:fixme"="delete 削除されます" のタグを削除してください。

  • また、すぐ近くに、置き換え対象となっている建物形状が存在することが多いはずです。フィルタのオン/オフを行ってオブジェクトを表示させ、近隣の建物形状を適宜修正してください。場合によっては、近くに存在する建物オブジェクトから残したい建物オブジェクトに対し、 name などのタグをコピーしてくることも重要です。

  • 残したい建物オブジェクトと重複しているすべてのオブジェクトを削除することで、対象の建物形状を残すことができるようになります。

迷ったときは？

多くの場合、 PLATEAU の建物データは非常に優秀で、形状の置き換えに問題はありません。

ただし、 PLATEAU データも完璧ではありません。現在の建物の状況がどうなっているか、 PLATEAU データセットの建物形状が本当に正しいものなのかどうか、 Bing などの航空写真では判別が付きづらい場合、以下の手がかりを参考に情報を集めてください。

• 既存データの履歴の確認

  • 既存データの履歴等を確認し、どのような情報をもとに形状が描かれたかを確認します。
  • Plateauデータは主に2016年頃に取得したデータから作成されていることが多く、それよりも後に追加された建物オブジェクトの場合は、新しく描かれた建物が正しい場合があります。特に2016年以降にsurvey情報をもとに形状が描かれた建物は信頼性が高い可能性があります。

• 最新の航空写真を参照する

  • 2016年以降にOSMへ追加された建物オブジェクトであったとしても、参照している航空写真/衛星写真が2016年よりも古い写真であるケースがあります。
  • 2016年より新しく撮影された航空写真と比較することによって、データの信憑性を確認することが可能です。

• それでもどうしても判別や決断ができない

  • 作業を一時中断し、対象のメッシュ名を付記してSlackチャンネル等で相談してください。

なお、 PLATEAU データのインポートを行った地域は、作業完了後、 Tasking Manager を使って形状などの事後確認プロセスを設ける予定です。大きな間違いの場合は、事後確認プロセスの段階でチェックすることも可能です。

8. チェックしたファイルを 名前をつけて保存

チェックが完了したファイルを、名前を付けて保存します。

JOSM のメニューから、あるいは JOSM のレイヤー一覧から、対象のレイヤーを保存します。

保存する際は、ファイル名を checked.osm としてください。

9. アップロード用ファイルへの変換（4thスクリプトを回す）

checked.osm ファイルを、アップロード用ファイルに変換します。

ターミナルから、以下のコマンドを入力します。

$ java -Dfile.encoding=utf-8 -jar citygml-osm-jar-with-dependencies.jar 4th

これにより、 checked.osm を元にした upload.osm が生成されます。

10. osm.org へのアップロード

JOSM で upload.osm を開き、 osm.org へアップロードします。

レイヤで upload.osm を開いた状態で 妥当性検証 を行います。

妥当性検証の結果として表示される警告やエラーを確認し、その上でデータのアップロードを行ってください。 例えば、縁の部分で重複するノードのエラー処理や、メンバーが存在しないリレーションなどが発生することがあります。

アップロードする際には、変更セットに対して以下のタグを付与してください。

 source = MLIT_PLATEAU
 source_ref = https://wiki.openstreetmap.org/wiki/MLIT_PLATEAU/imports_outline

また、変更セットのコメントとして、以下のフォーマットを推奨します。 メッシュ番号は、作業を行っているファイルの先頭8桁の数字です。

Plateau import: [対象の市町村] [メッシュ番号]

例: Plateau import: 新座市 53395404

11. OSM wiki の対象リストを編集する

OSM wiki に、インポート対象となる各市町村ごとのファイル名一覧を作成しています。

• https://wiki.openstreetmap.org/wiki/JA:MLIT_PLATEAU/imports_list

インポートが完了したメッシュ番号に対し、インポート済みであることを記載してください。 また、申し送り事項がある場合は、備考欄にその内容を記載してください。

---

以上ですべての工程の終了です。

[SotaSuzuki-1327]

Plateau building data: Import procedure into OpenStreetMap (Draft)

English Ver.

• This section describes the procedure for importing 3D data building objects published by the Plateau project into OpenStreetMap.
• Please refer to the OSM wiki: JA:MLIT PLATEAU/imports outline for information on the entire import process.
• Please make sure you have the latest versions of JAVA and JOSM installed on your PC before starting the following process.

1. Download the Citygml file of the target area.

Download the file to be worked on from the G-Spatial Information Center .

• 3D city model (Project PLATEAU) portal site
• When downloading, select the CityGML format.

After downloading the file, extract the zip file. The building data is stored under udx/bldg in the extracted directory.

Open the gml file in a text editor and confirm the survey year, as in <uro:surveyYear>2017</uro:surveyYear> .

• This is necessary to check if the existing OSM data is mapped newer than the survey year, or if the PLATEAU data is older than the latest satellite image/aerial photograph.

2. Download the conversion script

Download yuuhayashi / citygml-osm .

• The compiled script is distributed under the release distribution.
• The version of the conversion script will be updated, and it is recommended to use the latest version available at that time.

Extract the downloaded file and store citygml-osm-osm-jar-with-dependencies.jar in the file where the Plateau building data (in citygml format, under udx/bldg by default) is extracted.

3. Run scripts from 1st to 3rd

Start a Terminal (or Command Line, Powershell, etc.) and navigate to the folder where citygml was extracted.

Once there, type the following command.

$ java -Dfile.encoding=utf-8 -jar citygml-osm-jar-with-dependencies.jar 1st

$ java -Dfile.encoding=utf-8 -jar citygml-osm-jar-with-dependencies.jar 2nd

$ java -Dfile.encoding=utf-8 -jar citygml-osm-jar-with-dependencies.jar 3rd

In each command, the following processes are performed.

• 1st: Convert CityGML data to .osm format and save as .osm format.
• 2nd: Download the data in the data range of each .osm file from osm.org and save it as .org.osm format.
• 3rd: Compare and merge the .osm and .org.osm files to output and save the mrg.osm format file.

This process will result in four files with the same name but different file extensions ( .gml, .osm, .org.osm , and .mrg.osm ). The above commands will produce the same results as if you had kicked in run.sh (or run.bat ), which is included in the distributed scripts.

The script will run against all gml files stored in the same directory. Therefore, if the number of files is large, it will take some processing time. If necessary, please separate directories accordingly.

4. Open .mrg.osm file with JOSM

Load a file with the extension .mrg.osm into JOSM. After importing the .mrg.osm file in JOSM, display the OSM image layer in the background for clarity.

The goal of this process is to edit the imported file and remove any objects that you do not want to import.

5. Install the todo plugin

Follow these steps to enable the todo plugin.

• Open the JOSM menu and go to the Plug-in Settings tab.
• Check the todo plugin and press "OK" to install the plugin.
• After installation, restart JOSM to activate the installation.
• After restarting, activate the todo plugin from the list of plugins on the left side of the JOSM screen.
• Once the plugin is activated, the todo plugin will appear in the left pane of the JOSM screen.

6. Filter settings

Set the following four filters in the JOSM filters.

• "MLIT_PLATEAU:fixme"=*
• "MLIT_PLATEAU:fixme"="PLATEAUデータで更新されています" (means "Updated with PLATEAU data")
• "MLIT_PLATEAU:fixme"="delete 削除されます" (means ""delete" that will be deleted")
• type:node

In the composite file .mrg.osm , if there is an overlap between existing OSM data and PLATEAU data in the same area, the target object is given the tag "MLIT_PLATEAU:fixme" . A human must check if this object should be imported and handle it appropriately.

Basically, by processing the "MLIT_PLATEAU:fixme"=* , you can create a file that is ready for uploading. Use the JOSM filter to make it easier to find the target object.

Explanation of the values contained in "MLIT_PLATEAU:fixme"=*

• Either of the following two values is stored in "MLIT_PLATEAU:fixme"=* .
  • "MLIT_PLATEAU:fixme"="PLATEAUデータで更新されています"
  • "MLIT_PLATEAU:fixme"="delete 削除されます"

7 Edit .mrg.osm

Edit .mrg.osm in JOSM.

• When editing this data, NEVER perform any operations other than "delete object" such as "move object" or "change tags".
• The subsequent update process operates on the assumption that only unnecessary objects are deleted and that the tag contents have not been changed. If the object content is changed, the operation will be "operation indefinite".

Checking data to which "MLIT_PLATEAU:fixme" is not assigned

Activate the filter "MLIT_PLATEAU:fixme"=* to display only untagged data (i.e., objects with PLATEAU data as is).

Set the background image to a satellite photo taken as recently as possible, such as Bing or Maxar, and delete any building objects that clearly do not exist. At this time, compare the survey year of the gml data confirmed in step 1. with the year the background image was taken, and always delete objects according to the newer year.

Correspondence to data with "MLIT_PLATEAU:fixme"=*

With the filters type:node and "MLIT_PLATEAU:fixme"="delete 削除されます" activated, inverse "MLIT_PLATEAU:fixme"="delete 削除されます" , press <Ctrl + A> and select all objects in the layer Select all objects in the layer.

This will ensure that no nodes are selected when selecting objects.

Processing of "MLIT_PLATEAU:fixme"="PLATEAUデータで更新されています"

• Objects that will be replaced by PLATEAU data geometry from existing OSM data.

• Visual checks and corrections are performed to ensure that the geometry is acceptable for uploading.

• These building shape data have the following characteristics

  • Building geometry: PLATEAU side geometry is used
  • Tags: both existing and PLATEAU merged (see GitHub for tag merging policy)

• Next, select the layer, activate the filters type:node and "MLIT_PLATEAU:fixme" = "PLATEAUデータで更新されています" , press <Ctrl + A> and select all objects in the layer.

• Once all tagged objects are selected, press the + button in the todo plugin to store the object in the todo list and create a checklist.

• Set two background images, a tile image from osm.org and a new satellite photo of the year taken, and check their position in relation to the existing buildings in OSM.

  • If you are satisfied that the object geometry and tags are ok and can be imported, press the ✔ button in the todo plugin.
  • If the object with the tag "MLIT_PLATEAU:fixme"="PLATEAUデータで更新されています" is in the wrong position, delete the object. By deleting it, the existing OSM data will take precedence and the geometry will not be updated.

• DO NOT delete the tag "MLIT_PLATEAU:fixme"="PLATEAUデータで更新されています" for use in the next process.

Processing for "MLIT_PLATEAU:fixme"="delete 削除されます"

• Objects with this tag are proposed to be deleted for some reason.

• For example, if an existing building with 3 units is to be merged into a PLATEAU object with 2 units, the one unit that was left out of the merger will be "Deleted".

• As with the "PLATEAUデータで更新されています" object, select the layer, activate the filters type:node and "MLIT_PLATEAU:fixme"="delete 削除されます" and press <Ctrl + A> to select all objects in the layer.

• Once all tagged objects are selected, press the + button in the todo plugin to store the target object in the todo list and create a checklist.

  • If you are satisfied that the object can be deleted by comparing it with the tile image on osm.org or a new satellite photo of the year it was taken, press the ✔ button in the todo plugin to delete it from the list and leave the object with this tag: "MLIT_PLATEAU:fixme"="delete 削除されます" .

  • If you want to keep this building shape, delete the tag "MLIT_PLATEAU:fixme"="delete 削除されます" .

  • In addition, there should often be a building shape in the immediate vicinity that is being replaced. Turn the filter On/Off to display the object and modify nearby building features accordingly. In some cases, it is important to copy tags such as name from nearby building objects to the building object you want to keep.

  • Delete all objects that overlap with the building object you want to keep so that you can keep the target building shape.

In case you are not sure what to do?

In most cases, PLATEAU building data is very superior and there is no need to worry about replacing the geometry.

However, PLATEAU data is not perfect either. If it is difficult to determine from aerial photos such as Bing what the current building conditions are and whether the building shape in the PLATEAU dataset is indeed correct, use the following clues to gather information.

• Check the history of existing data

  • Check the history of existing data and other information to determine what information was used to draw the shape.
  • PLATEAU data is mainly created from data acquired around 2016, and for building objects added later than that, the newly drawn buildings may be correct. Buildings whose geometry was drawn based on survey information after 2016 in particular may be more reliable.

• Refer to the most recent aerial photograph.

  • Even if a building object was added to OSM after 2016, the referenced aerial/satellite photo may be older than 2016.
  • The authenticity of the data can be confirmed by comparing it to aerial photographs taken newer than 2016.

• Still, we just can't discern or make a decision.

  • Please pause your work, add the name of the mesh in question, and consult with us via Slack channel or other means.

For areas where PLATEAU data has been imported, we plan to use the Tasking Manager to perform a post-check process for geometry, etc., after the work is complete. Any major mistakes can be checked during the post-verification process.

8. Save the checked file

Save the checked file as a file with a name.

Save the target layer from the JOSM menu or from the JOSM layer list.

When saving, name the file checked.osm .

9. Conversion to a file for upload (run 4th script)

Convert the checked.osm file to a file for uploading.

From the Terminal (or Command Line, Powershell, etc.), enter the following command.

$ java -Dfile.encoding=utf-8 -jar citygml-osm-jar-with-dependencies.jar 4th

This will generate upload.osm based on checked.osm .

10. Upload to osm.org

Open upload.osm in JOSM and upload to osm.org .

Validation is performed with upload.osm opened in the layer.

Review any warnings or errors that appear as a result of the validation, and then upload the data. For example, there may be error handling of duplicate nodes at the edges, or relationships where no members exist.

When uploading, please add the following tags to the change set

 source = MLIT_PLATEAU
 source_ref = https://wiki.openstreetmap.org/wiki/MLIT_PLATEAU/imports_outline

The following format is also recommended as a comment on the change set The mesh number is the first 8 digits of the file you are working on.

Plateau import: [target municipality] [mesh number].

Example: Plateau import: Niiza-shi 53395404

11. Edit the target list in OSM wiki

OSM wiki has a list of file names for each municipality to be imported.

• https://wiki.openstreetmap.org/wiki/JA:MLIT_PLATEAU/imports_list

For each mesh number that has been imported, please note that it has been imported. If there are any remarks, please state them in the remarks field.

---

This is the end of the process.