ポイントクラウドデータを用いた三人称視点ドローンの検討
ゼミ論中間発表 森田浩徳
Hironori Morita
Hironori Morita
Nov 9 · 13 min read
背景
ドローン部に所属してから、少しずつではありますがドローンのニュースに注目するようになりました。近年では農業や災害対応、観測だけでなく、輸送や医療にまで進出されつつあります。技術革新が甚だしいドローン業界では、今後も需要が大きくなり、私たちの生活に密接な時代が到来するのもそんな遠くはないはずです。Radiant Insights(2017)によると、2021年におけるドローン業界の市場価値は48億ドルにも及ぶと予測されています。しかしそんな朗報の裏では、ドローンによる墜落事故のニュースがちらほら報道されます。
なぜドローンの事故が発生するのか調べた所によると、接触による事故が多いことがわかりました。この点は、後の先行研究で記載します。そこで、ドローンの接触事故を防ぐ方法はないのかと考えました。
またコロナの時期で、なかなかドローンを飛ばすことができない時期、荒野行動のドローンで練習を試みました。少しおふざけ感覚程度ではあったのですが、実際に飛ばしてみると、非常に操縦がしやすいことに気がつきました。それは、荒野行動でのドローンは三人称視点（Third Person View, 以下TPVと呼ぶ）で操縦できるからです。
現在では、一人称視点で操縦されるFPV(First Person View)ドローンは存在しております。しかし、ドローンそのものの映像が画面越しに見える三人称視点のTPVドローンは未だに販売はされていません。
では、FPVとTPVではどれだけ見え方が異なるのでしょうか？
Image for post
Image for post
FPVドローンの視点（左）、TPVドローンの視点（右）
これはFPVとTPVドローンの視点の違いを表したものなのですが、同じ背景でもドローンがあるかないかで、見え方が異なると思います。FPVはドローンから見える映像であるため、より近くダイナミックに見えるかと思います。対しTPVは少し視野が広がり、その名の通り客観視していることが見て取れます。
Raph FPV
しかし静岡県交通基盤部建設支援局建設技術企画課が高精度点群データをCC BY 4.0で公開しているので、その点群データを用いて静岡県の街を可視化し、それをドローンの操縦に組み込むことはできないかという仮説が立ちました。
したがって、ポイントクラウドデータを可視化、さらにドローン操縦のインターフェースに組み込むことで三人称視点ドローンを構成することを提案します。ドローンのより安全な操縦の構築に繋げることを目標に、本研究を進めて参りたいと思います。
先行研究
ドローンの墜落事故には様々な要因がありますが、強風、人為的ミス、接触、通信途絶などの理由が挙げられます。その中でも接触による事故が一番多く、国土交通省による無人航空機に係る事故トラブル等の一覧によると、平成31年度には83件中42件、令和2年度（令和2年11月3日現在）には47件中30件にも及んでいます。
約1年9ヶ月の間に最低130件ものドローンの事故や問題が発生していますが、その中でも接触による事故は全体の55%にも及びます。接触の対象として一番多いのが、電線であり、家屋、樹木、電柱、電話線と続きます。この結果から空中にぶら下がっているものや、高いものへの衝突が多く見られることがわかります。
Image for post
Image for post
Image for post
平成31年度, 令和2年度 無人航空機に係る事故トラブル等の一覧（国土交通省）より作成
Clarke(2014)の分析では、ドローンにおける最も重要な2つの価値として、公共の安全とプライバシーへの影響の管理する適切性について慎重に検討する必要があると結論付けています。またYao(2017)によると、ドローン操縦において、安全の確保は最優先事項であると述べています。安全飛行の重要性が高いことは言わずとも認識されていると思いますが、未だに事故が防げていないからこそ、この問題が取り上げられていることがわかります。
ドローンによる事故の要因の中に、障害物の有無を確認できなかったり、操縦中に突如接触したという供述がありました。実際ドローンを操縦すると、カメラによって映し出される範囲が限定的であることがわかります。そこでゲームのように周り全体を表示できるようにしたら、接触事故を防ぐことができるかもしれません。
天間(2019)らによると、目視外飛行が困難である要因として、操縦者によるドローン周囲の状況認知（Situational Awareness）が欠かれるからと述べている。さらに状況認識ができないまま操縦をすると、操縦者は身体的ストレスが発生し、操縦の質が低下する可能性があるとも述べている。
Endsley(1995)によると、状況認知のステップとして、知覚（Perception）、理解（comprehension）、予測（projection）があり、周囲認知を高めること により、動的環境における適切な判断やより良いパフォーマンスが期待されると結論づけている。
Stanton(2001)では、状況認識の改善はより良いサンプリングを促進し、認知作業量を減らすためのシステムインターフェースの設計、または個人およびチームレベルでの状況認識のトレーニングと述べています。
つまり、パイロットがストレスなくドローンを操縦するには、よりシンプルなシステムインターフェースの構築をし、状況認知を高めやすい環境を創造させる必要があります。
Rouse(1999)は、三人称視点は操作対象を世界全体に移動させるのに適していると結論づけています。Salamin(2006)によると、三人称視点は存在感と視野の拡大（World View）を供給し、周りの環境をより把握させると提唱しています。通常移動アクションやその対象との相互作用には三人称視点、不動の対象物や近距離を操作する場合は一人称視点が有効です。また ユーザーが三人称視点を使用する場合、カメラの位置によって提供される視野が広いため、距離をより適切に判断し、操作対象の軌道を予測・推定することが可能になっています。 したがって、 さまざまなアクションで構成されるシミュレーションでは両方の視点が必要であり、それらを切り替えることによって、より効果的に操作することが可能であると結論付けています。
以上からわかるように、ドローンは移動することが必然的であるため、三人称視点での操作が効率的であることがわかります。さらにドローンとその他障害物との距離感の把握がしやすくなるため、接触を防ぐ可能性は高まるはずです。
http://localhost:1234を開く
上記の流れで、Potreeの実行はできました。
Potreeではサンプルデータが用意されており、サーバーが起動されると、ブラウザ上でライオンが確認できるようになります。
Image for post
Potree Converterの活用
Potree Converterをダウンロード
実行する
./PotreeConverter.exe C:/pointclouds/data.las -o C:/pointclouds/data_converted
Potree Converterのファイルは、windows版のみGitHubで公開されています。Macは他のやり方があるのですが、今回はwindows版で取り組むことにしました。
そこでPotreeConverter_2.0.2_x64_windows.zipをダウンロードし、解凍して実行してみました。すると、VCRUNTIME140.dllがないため開始できませんとの表示がされました。 Visual C++ のアプリケーションを実行するには、Visual Studioのダウンロードが必要とのことなので、そのままインストールしました。インストールには、約4時間ほどかかりましたね、、
全ての準備が整ったので、Potree Converterを起動させてみました。
しかし、
Image for post
16ビットアプリケーションのため対応されていないと、アクセスが拒否されてしまいました。
PotreeConverter_2.0.2_x64_windows 20201103 · Issue #12 · furuhashilab/2020gsc_HironoriMorita
Dismiss GitHub is home to over 50 million developers working together to host and review code, manage projects, and…
github.com
バージョン下げたら実行できるのではないかと考え、PotreeConverter 2.0.1をダウンロードしました。さっきと同様に実行させると、少し解析は進んだのですが、問題が発生したため中止。
PotreeConverter_2.0.1_windows_x64 20201103 · Issue #14 · furuhashilab/2020gsc_HironoriMorita
Dismiss GitHub is home to over 50 million developers working together to host and review code, manage projects, and…
github.com
PotreeConverter 2.0も同様の結果になりました。
PotreeConverter_2.0_windows_x64 20201103 · Issue #13 · furuhashilab/2020gsc_HironoriMorita
Dismiss GitHub is home to over 50 million developers working together to host and review code, manage projects, and…
github.com
現状このコンバートに問題が発生しているため、静岡市のLASファイルが変換できない状態になっています。
今後
Potree ConverterでLASファイルをPotree用にコンバートさせる
静岡市のポイントクラウドデータを可視化
ドローン操縦画面へのユーザーインターフェース構築
TPVドローン完成
上記したように、Potreeを運用させることには成功しましたが、ファイルのコンバートができていない状態であります。このコンバーターの問題を解決することを最優先に行い、最低限静岡市のポイントクラウドデータを可視化するところまでは進めていきたいと思います。
この研究を誰かに引き継いでもらいたい気持ちもありますので、事細かくGitHubにデータを落としておきます。
発表資料
GitHubレポジトリ
furuhashilab/2020gsc_HironoriMorita
You can't perform that action at this time. You signed in with another tab or window. You signed out in another tab or…
github.com
https://medium.com/furuhashilab/%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88%E3%82%AF%E3%83%A9%E3%82%A6%E3%83%89%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E4%B8%89%E4%BA%BA%E7%A7%B0%E8%A6%96%E7%82%B9%E3%83%89%E3%83%AD%E3%83%BC%E3%83%B3%E3%81%AE%E6%A4%9C%E8%A8%8E-1b9a0ceff67a
ポイントクラウドデータを用いた三人称視点ドローンの検討 ゼミ論中間発表 森田浩徳 Hironori Morita Hironori Morita Nov 9 · 13 min read
背景
ドローン部に所属してから、少しずつではありますがドローンのニュースに注目するようになりました。近年では農業や災害対応、観測だけでなく、輸送や医療にまで進出されつつあります。技術革新が甚だしいドローン業界では、今後も需要が大きくなり、私たちの生活に密接な時代が到来するのもそんな遠くはないはずです。Radiant Insights(2017)によると、2021年におけるドローン業界の市場価値は48億ドルにも及ぶと予測されています。しかしそんな朗報の裏では、ドローンによる墜落事故のニュースがちらほら報道されます。 なぜドローンの事故が発生するのか調べた所によると、接触による事故が多いことがわかりました。この点は、後の先行研究で記載します。そこで、ドローンの接触事故を防ぐ方法はないのかと考えました。 またコロナの時期で、なかなかドローンを飛ばすことができない時期、荒野行動のドローンで練習を試みました。少しおふざけ感覚程度ではあったのですが、実際に飛ばしてみると、非常に操縦がしやすいことに気がつきました。それは、荒野行動でのドローンは三人称視点（Third Person View, 以下TPVと呼ぶ）で操縦できるからです。 現在では、一人称視点で操縦されるFPV(First Person View)ドローンは存在しております。しかし、ドローンそのものの映像が画面越しに見える三人称視点のTPVドローンは未だに販売はされていません。 では、FPVとTPVではどれだけ見え方が異なるのでしょうか？ Image for post Image for post FPVドローンの視点（左）、TPVドローンの視点（右） これはFPVとTPVドローンの視点の違いを表したものなのですが、同じ背景でもドローンがあるかないかで、見え方が異なると思います。FPVはドローンから見える映像であるため、より近くダイナミックに見えるかと思います。対しTPVは少し視野が広がり、その名の通り客観視していることが見て取れます。
FPVの利点
近距離が見やすい 臨場感やリアリティを感じやすい 撮影に適している
TPVの利点
視野が広い 周囲の状況を把握しやすい 過去の記事 荒野行動から学ぶドローンの安全飛行 都心には様々な高層ビルがありますよね。その中でも際立っているビル medium.com そこで、この視点の差を利用することによって、ドローンの接触事故を減らすことができるのではないかと考えました。思いついたTPVドローンの見せ方として、 ドローンにカメラのついた棒を取り付ける ドローンを2台使用する があげられました。 実際に、Saakes(2013)や、天間(2019)らが研究を行なっています。前者に関しては、Raph FPVさんがYoutubeで公開していたり、意外にも発達しつつあります。
Raph FPV しかし静岡県交通基盤部建設支援局建設技術企画課が高精度点群データをCC BY 4.0で公開しているので、その点群データを用いて静岡県の街を可視化し、それをドローンの操縦に組み込むことはできないかという仮説が立ちました。 したがって、ポイントクラウドデータを可視化、さらにドローン操縦のインターフェースに組み込むことで三人称視点ドローンを構成することを提案します。ドローンのより安全な操縦の構築に繋げることを目標に、本研究を進めて参りたいと思います。
先行研究
ドローンの墜落事故には様々な要因がありますが、強風、人為的ミス、接触、通信途絶などの理由が挙げられます。その中でも接触による事故が一番多く、国土交通省による無人航空機に係る事故トラブル等の一覧によると、平成31年度には83件中42件、令和2年度（令和2年11月3日現在）には47件中30件にも及んでいます。 約1年9ヶ月の間に最低130件ものドローンの事故や問題が発生していますが、その中でも接触による事故は全体の55%にも及びます。接触の対象として一番多いのが、電線であり、家屋、樹木、電柱、電話線と続きます。この結果から空中にぶら下がっているものや、高いものへの衝突が多く見られることがわかります。 Image for post Image for post Image for post 平成31年度, 令和2年度 無人航空機に係る事故トラブル等の一覧（国土交通省）より作成 Clarke(2014)の分析では、ドローンにおける最も重要な2つの価値として、公共の安全とプライバシーへの影響の管理する適切性について慎重に検討する必要があると結論付けています。またYao(2017)によると、ドローン操縦において、安全の確保は最優先事項であると述べています。安全飛行の重要性が高いことは言わずとも認識されていると思いますが、未だに事故が防げていないからこそ、この問題が取り上げられていることがわかります。 ドローンによる事故の要因の中に、障害物の有無を確認できなかったり、操縦中に突如接触したという供述がありました。実際ドローンを操縦すると、カメラによって映し出される範囲が限定的であることがわかります。そこでゲームのように周り全体を表示できるようにしたら、接触事故を防ぐことができるかもしれません。 天間(2019)らによると、目視外飛行が困難である要因として、操縦者によるドローン周囲の状況認知（Situational Awareness）が欠かれるからと述べている。さらに状況認識ができないまま操縦をすると、操縦者は身体的ストレスが発生し、操縦の質が低下する可能性があるとも述べている。 Endsley(1995)によると、状況認知のステップとして、知覚（Perception）、理解（comprehension）、予測（projection）があり、周囲認知を高めること により、動的環境における適切な判断やより良いパフォーマンスが期待されると結論づけている。 Stanton(2001)では、状況認識の改善はより良いサンプリングを促進し、認知作業量を減らすためのシステムインターフェースの設計、または個人およびチームレベルでの状況認識のトレーニングと述べています。 つまり、パイロットがストレスなくドローンを操縦するには、よりシンプルなシステムインターフェースの構築をし、状況認知を高めやすい環境を創造させる必要があります。 Rouse(1999)は、三人称視点は操作対象を世界全体に移動させるのに適していると結論づけています。Salamin(2006)によると、三人称視点は存在感と視野の拡大（World View）を供給し、周りの環境をより把握させると提唱しています。通常移動アクションやその対象との相互作用には三人称視点、不動の対象物や近距離を操作する場合は一人称視点が有効です。また ユーザーが三人称視点を使用する場合、カメラの位置によって提供される視野が広いため、距離をより適切に判断し、操作対象の軌道を予測・推定することが可能になっています。 したがって、 さまざまなアクションで構成されるシミュレーションでは両方の視点が必要であり、それらを切り替えることによって、より効果的に操作することが可能であると結論付けています。 以上からわかるように、ドローンは移動することが必然的であるため、三人称視点での操作が効率的であることがわかります。さらにドローンとその他障害物との距離感の把握がしやすくなるため、接触を防ぐ可能性は高まるはずです。
研究方法
静岡県が提供しているポイントクラウドデータをダウンロードすると、LASファイル形式でダウンロードされます。そのLASファイルを可視化させるためのツールとして、Potreeを使用します。 藤井(2016)によると、Potreeをウェブサーバーに紐付けし、実行環境を整えホームページの一要素として利用すると述べています。実行環境とは、three.jsというJavaScriptプログラムを用い、chromeなどの一般的なブラウザで表示させることであります。またSchuetz(2016)はPotreeの優れた点として、ウェブブラウザによるポイントクラウドデータの可視化は、使用する人たちがサードパーティ製アプリケーションを導入することなく、あらかじめ莫大なデータをユーザー間で転送することが可能であると述べています。さらにKumar(2019)らは、WebGLベースのインターフェイスでポイントクラウドをレンダリングするため、効率的な移植性（共有・配布・公開）を可能にしている。さらにポイントクラウドのリアルタイムレンダリングをサポートしているため、レンダラーの読み込み時間が大幅に短縮されます。Potreeレンダラーを使用して測定された点群の寸法は、構造の実際の寸法と良好な相関関係を示していると論結しています。 他にもポイントクラウドデータの可視化のためのツールはありますが、将来的にドローンの操縦に組み込むという点から、誰もが利用しやすいPotreeで実行することに決定しました。
研究の流れ
Potreeを活用 Potree ConverterでLASファイルをPotree用にコンバートさせる 静岡市のポイントクラウドデータを可視化 ドローン操縦画面へのユーザーインターフェース構築 TPVドローン完成
Potreeの活用
Potreeをダウンロード Homebrewインストール Node.jsインストール Gulpインストール npmインストール npm起動 →サーバーが起動する
Potree Converterの活用
Potree Converterをダウンロード 実行する ./PotreeConverter.exe C:/pointclouds/data.las -o C:/pointclouds/data_converted Potree Converterのファイルは、windows版のみGitHubで公開されています。Macは他のやり方があるのですが、今回はwindows版で取り組むことにしました。 そこでPotreeConverter_2.0.2_x64_windows.zipをダウンロードし、解凍して実行してみました。すると、VCRUNTIME140.dllがないため開始できませんとの表示がされました。 Visual C++ のアプリケーションを実行するには、Visual Studioのダウンロードが必要とのことなので、そのままインストールしました。インストールには、約4時間ほどかかりましたね、、 全ての準備が整ったので、Potree Converterを起動させてみました。 しかし、 Image for post 16ビットアプリケーションのため対応されていないと、アクセスが拒否されてしまいました。 PotreeConverter_2.0.2_x64_windows 20201103 · Issue #12 · furuhashilab/2020gsc_HironoriMorita Dismiss GitHub is home to over 50 million developers working together to host and review code, manage projects, and… github.com バージョン下げたら実行できるのではないかと考え、PotreeConverter 2.0.1をダウンロードしました。さっきと同様に実行させると、少し解析は進んだのですが、問題が発生したため中止。 PotreeConverter_2.0.1_windows_x64 20201103 · Issue #14 · furuhashilab/2020gsc_HironoriMorita Dismiss GitHub is home to over 50 million developers working together to host and review code, manage projects, and… github.com PotreeConverter 2.0も同様の結果になりました。 PotreeConverter_2.0_windows_x64 20201103 · Issue #13 · furuhashilab/2020gsc_HironoriMorita Dismiss GitHub is home to over 50 million developers working together to host and review code, manage projects, and… github.com 現状このコンバートに問題が発生しているため、静岡市のLASファイルが変換できない状態になっています。
今後
Potree ConverterでLASファイルをPotree用にコンバートさせる 静岡市のポイントクラウドデータを可視化 ドローン操縦画面へのユーザーインターフェース構築 TPVドローン完成 上記したように、Potreeを運用させることには成功しましたが、ファイルのコンバートができていない状態であります。このコンバーターの問題を解決することを最優先に行い、最低限静岡市のポイントクラウドデータを可視化するところまでは進めていきたいと思います。 この研究を誰かに引き継いでもらいたい気持ちもありますので、事細かくGitHubにデータを落としておきます。 発表資料 GitHubレポジトリ furuhashilab/2020gsc_HironoriMorita You can't perform that action at this time. You signed in with another tab or window. You signed out in another tab or… github.com