MouseSIS: マウスの時空間インスタンスセグメンテーションのためのフレームおよびイベントデータセット

[fulfulggg]

タイトル: MouseSIS: マウスの時空間インスタンスセグメンテーションのためのフレームおよびイベントデータセット

リンク: https://arxiv.org/abs/2409.03358

概要:

大規模な注釈付きデータセットによって実現された、ビデオ内のオブジェクトの追跡とセグメンテーションは、近年著しい進歩を遂げました。しかし、これらの進歩にもかかわらず、アルゴリズムは依然として劣悪な条件下や高速な動き中に苦労しています。イベントカメラは、高い時間分解能と広いダイナミックレンジを備えた新しいセンサーであり、これらの課題に対処するための有望な利点をもたらします。しかし、イベントを用いた学習ベースのマスクレベル追跡アルゴリズムを開発するための注釈付きデータは存在しません。この目的のために、我々は以下を紹介します。（$i$）\emph{時空間インスタンスセグメンテーション}と呼ばれる新しいタスク。ビデオインスタンスセグメンテーションに似ていますが、センサー入力の全期間にわたってインスタンスをセグメント化することを目標としています（ここでは、入力は準連続的なイベントとオプションで位置合わせされたフレームです）。そして（$ii$）\emph{\dname}、新しいタスクのためのデータセット。位置合わせされたグレースケールフレームとイベントが含まれています。最大7匹の自由に動き回り、相互作用するマウスのグループの注釈付きの正解ラベル（ピクセルレベルのインスタンスセグメンテーションマスク）が含まれています。また、2つの参照方法も提供します。これらの方法は、イベントデータを活用することで、特に従来のカメラと組み合わせて使用​​する場合に、追跡性能を一貫して向上させることができることを示しています。結果は、困難なシナリオにおけるイベント支援追跡の可能性を強調しています。私たちのデータセットが、イベントベースのビデオインスタンスセグメンテーションの分野を開き、困難な条件に対応する堅牢な追跡アルゴリズムの開発を可能にすることを願っています。\url{https://github.com/tub-rip/MouseSIS}

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• dataset
• segmentation
• object-detection

[fulfulggg]

論文要約

MouseSIS: マウスの時空間インスタンスセグメンテーションのためのフレームおよびイベントデータセット - 論文要約

背景

• ビデオ内のオブジェクト追跡・セグメンテーション技術は発展したが、劣悪な環境や高速移動中の追跡は依然として困難。
• イベントカメラは高時間分解能・広ダイナミックレンジを持つため、これらの課題解決に有望だが、学習用データセットが存在しない。

新規性

1. 時空間インスタンスセグメンテーション
   • 動画全体に渡り、個々のインスタンスをセグメント化するタスク (入力は準連続的なイベントとフレーム)。
2. MouseSIS データセット
   • 最大7匹のマウスのグループが自由に動き、相互作用する様子を含む。
   • グレースケールフレームとイベントデータ、ピクセルレベルのインスタンスセグメンテーションマスクを含む。
   • イベントデータ活用により追跡性能が向上することを示す2つの参照方法を提供。

結論

• MouseSISはイベントベースのビデオインスタンスセグメンテーション分野を開拓し、困難な条件に対応可能な追跡アルゴリズム開発を促進する。

関連リンク

• データセット: https://github.com/tub-rip/MouseSIS