HTTP API Filesystem を実装、提供したい

[usagi]

HTTP API / JSON-RPC-2.0 の実装により扱いやすく開発効率の良好なテキストベースのインターフェースは整備できたが、テキストのRPCベースでの連携においてもバイナリーの送受信を行うための仕組みを並行して扱えると便利の善い事もある。

そこで G4 では /api/json-rpc-2.0/ の設計時に、併せて /filesystem/tmp/ の試験提供を計画していた。この設計は HTTP サブシステムの実装にあたり採用したミドルウェアの実装に若干機能不足があったため、開発元に相談し機能追加を行って貰っていた。先日この機能追加が完了したので、 G4 の HTTP ファイルシステム API を実装、提供したい。

さしあたり、本チケットでは /filesystem/tmp/ に対して、次の2点の試験実装を行う。

1. REST API による GET, PUT, DELETE によるファイル操作を提供
2. GeoObject API でテクスチャーを G4 HTTP Filesystem にアップロードされたファイルから読み出す拡張
3. ( optional ) 対応可能なリソースがあれば .X, .ply あるいは .obj からの GeoObject ロードにも対応する。

本チケットの段階ではディレクトリーの作成には対応しない。

実装時の注意点: API で提供するファイルシステムから実在のファイルシステムへアクセスできるような欠陥を伴わず実装すること。

[usagi]

4.0.0.14 へ取り込むため対応を開始する。

[usagi]

今日の実装進捗状況:

• G4/filesystem へ var/ と tmp/ を起動時、終了時に生成または存在を確認し、 tmp/ は空にする。
• curl -Ss -i http://127.0.0.1:50080/api/FILESYSTEM/tmp/a.txt -X GET のように GET メソッドアクセスすると以下の動作を行う:
  • ファイルがあれば 200 OK で response の body として取得できる。
  • 存在するが空の場合は 204 No Content
  • 存在しない場合は 404 Not Found
  • 不正なパス（ var/ または tmp/ 以外へのアクセス）に対しては 406 Not Acceptable
  • ファイルロックなどの問題でアクセスできない場合には 500 Internal Server Error
• パスに \ 文字が含まれる場合は / に正規化される。
• パスに ../ 文字列が含まれる場合は除去される。
• ほか内部的に必要となる補助実装、あるいは安全のための補助実装など。

残タスク:

• PUT でアップロード（必要ならディレクトリー生成も行う）
• DELETE で削除
• GET でディレクトリーへアクセスした場合の index 生成（≃ ls 的な text/html コンテントを生成）

[usagi]

進捗:

• PUT アップロード機能、 DELETE 削除機能を実装したが、 UE4 の IPlatformFile 関連の挙動がどうも妙で期待動作しない部分がある。
  • DeleteFile は成功しない。
  • WriteOpen するとファイルシステム上にファイルは作成され IFileHandle は取得できるが Write は成功しない。
  • 同じパスに対して DeleteDirectoryRecursively 直後に CreateDirectoryTree を実行しても成功しない。
    • さしあたり 1 ms スレッドスリープを噛ませながら 10 回 for リトライする馬鹿げた実装を書いて隠蔽できるか試しているが、根本的に信用ならない。
• バイナリーのアップロードに必要な機能が UWS に不足しているので Connection へ GetDataBlob の実装を追加

C++17 を正式に使えれば filesystem も std を使って簡単かつ安全かつ UE4 よりは信頼性の高い実装を使用できるのだが UE-4.19 でも C++17 対応が公式版には入らない様子が見える。

仕方ないので boost_filesystem をリンクするか検討しようと思うが、先に UE4 の IPlatformFile の内部実装を確認してみるつもりだ。

残タスク:

• PUT ディレクトリー生成機能
• GET ディレクトリーインデックス機能
• IPlatformFile 関連の期待動作しない問題の解消
• UWS Connection::GetDataBlob の追加パッチを isara tech へ提案

[usagi]

FILESYSTEM API の実装は完了した。

残タスク:

• FILESYSTEM サポート版の GeoObject API 拡張の追加。
• UWS Connection::GetDataBlob の追加パッチを isara tech へ提案

[usagi]

• wiki url からファイル単位で間接的にデータを扱う場合

[usagi]

• 進捗

1. GeoObject.SetTextureSource の <object:texturesource> に JSON で直接データを転送する data キー系の既存実装に加えて G4FS と HTTP に対応した url キー系の実装を追加
   • 使い方を wiki へ追記: https://goo.gl/Hgj7RT
2. UWS Connection::GetDataBlob の追加パッチを isara tech へ提案

残タスク:

• 動作確認と（見つかれば）バグ修正

2018-01-23 には残タスクを終え、 4.0.0.14 ( preview-5 ) をリリースできるだろう。

[usagi]

進捗

• 若干バグがあったので修正した。
• g4fs://var/a.jpg のように URL 形式でファイル単位の画像から意図した表示動作をしている。（下図参考）

他にも g4fs URL 形式と Filesystem APIs に対応した機能追加をしばらく行うが、それらはリビジョンアップで逐次提供する事として、 4.0.0.14 ( prview-5 ) をリリースする事にする。