・バウンディングボックスで選手を検出する手法でオフサイド検出を試みた研究はある。しかしオフサイドルールは細かい腕や足先のラインオーバーもオフサイドの際に考慮する必要がある為、BDの座標だけでは正確にオフサイドを表現できない
➡︎ポーズ推定を用いた選手の部位の検出から行う。（選手のボディパーツを取得するために、Multi-person 3D Pose Estimation and Tracking in Sportsの手法を使っている。）
・このタスクの目的は、チームの分類とGKと審判の分類でもある。（GKはオフサイドアルゴリズムにおいてコアとなる情報）
➡︎KMeansアルゴリズムをDBSCANアルゴリズムと組み合わせて、それぞれの特性を利用する。与えられたデータポイントは、DBSCANアルゴリズムによってノイズとして分類された場合には、外部のエンティティ、すなわちキーパーまたはレフリーとして分類する。（チームのクラスタができるはずで、そのノイズが審判 or GKとなる）
・Sirimamayvadee Siratanita, Kosin Chamnongthai, and Mistusji Muneyasu. Saliency-based football offside detection. 17th International Symposium on Communications and Information Technologies (ISCIT), Cairns, QLD, 2017, pp. 1--4., 2017.
・Karthik Muthuraman, Pranav Joshi, and Suraj K. Raman. Vision based dynamic offside line marker for soccer games. arXiv preprint arXiv:1804.06438, 2018
・Bridgeman Lewis, Volino Marco, Guillemaut Jean-Yves, and Hilton Adrian. Multi-person 3d pose estimation and tracking in sports. June 2019.
1. 概要（基本アイデア）
サッカーの試合画像を対象とした計算機によるオフサイド判定アルゴリズムの提案
オフサイドを検出するためのアルゴリズムも、サッカーの試合画像の定量的な表現を作成するための方法論もコンピュータ・ビジョン・タスクのシステムとして提示。
オフサイドシーンに該当する500枚の画像に対して、自動オフサイド検出を検討している。
この論文の現状の立ち位置としては、「VARのオンフィールドレビューの際の定量的なオフサイド検出の補助となるシステムの構築」を目指している。
・データセットも提供
2. 新規性
・バウンディングボックスで選手を検出する手法でオフサイド検出を試みた研究はある。しかしオフサイドルールは細かい腕や足先のラインオーバーもオフサイドの際に考慮する必要がある為、BDの座標だけでは正確にオフサイドを表現できない ➡︎ポーズ推定を用いた選手の部位の検出から行う。（選手のボディパーツを取得するために、Multi-person 3D Pose Estimation and Tracking in Sportsの手法を使っている。）
3. 手法詳細
以下のシステムを提示
手順は以下の通り、 ①消失点を求める ・フィールド上の選手の相対的な位置関係を把握することが重要な課題となる． ・サッカー場のピッチには，正確な水平線を持つ芝生のパターンは存在しない為、ハーフウェイラインやペナルティエリアの境界線など，フィールド上の公式なマーキングラインを考慮して，消失点を計算． ・Cannyエッジ検出アルゴリズムを使用してエッジを検出し、Houghlineアルゴリズムを適用して画像から線を抽出。
②選手の検出 ・ポーズ推定は，各プレイヤーの頭，足首，膝，腰，肩を検出するために用いられる。 ・入力フレームには，交代要員，ボールボーイ，観客などの不要な検出物も含まれているため，フィールドのプレイ可能な領域を分割する必要がある。 ➡︎画像にカラーマスクを適用して，画像から芝を分離し、マスクされた画像にモルフォロジカル変換を適用して，プレイ可能なフィールド領域から観客をセグメント化する。そして考慮中のフィールドの外側にある予測値を除く
③チーム、GKや審判の分類 ・チーム分類は教師なし学習で行う。 ・選手のシャツとパンツの領域全体には、選手の識別番号、選手の名前、スポンサーのロゴなどに起因するノイズが多く含まれている為、図のようなエリアを関心領域とする。 （具体的には、2つの膝の点と、腰の点から両肩の点へのベクトル上で、肩の点から腰の点への距離の半分の位置にある2つの点で表される多角形）
・ポリゴン上およびポリゴン内のすべてのピクセルが考慮し、入力チャンネル（r/g/b）に応じて，3つのヒストグラムに変換。 ➡︎ヒストグラムを連結してピクセルのベクトル表現を形成することで、所属チームを決定する際に使用する特徴量のセットを作成。
・このタスクの目的は、チームの分類とGKと審判の分類でもある。（GKはオフサイドアルゴリズムにおいてコアとなる情報） ➡︎KMeansアルゴリズムをDBSCANアルゴリズムと組み合わせて、それぞれの特性を利用する。与えられたデータポイントは、DBSCANアルゴリズムによってノイズとして分類された場合には、外部のエンティティ、すなわちキーパーまたはレフリーとして分類する。（チームのクラスタができるはずで、そのノイズが審判 or GKとなる）
④ピッチへの部位の投影
プレーヤーの端の体の部分が地面の平面内に映らない場合（映像に対して横に向いているようなシーン）、その部分を地面の平面上に投影する必要がある。
以下のように、平面の歪みを考慮しながら肩の高さを表示する。
カメラから遠い位置の投影
⑤オフサイド アルゴリズム 上記手順を考慮してオフサイドの条件分岐をFIFAのルールに則り作成
・入力画像に対してオフサイドか否かの判別（画像のような形）
4. 結果
・プレイヤー検出タスクのaccuracyは94.24% ・チーム分類のタスクのaccuracyは94.24%
・ゴールキーパーを識別する際の問題が全体の精度に与える影響を示すために，手動でゴールキーパーを組み込んだデータセットにもシステムを適用した結果、GKの自動分類には課題があることがわかった。
・全体のオフサイド判定精度とかは書かれていない...?
5. 論文，コード等へのリンク
論文：https://dl.acm.org/doi/10.1145/3422844.3423055 コード：https://github.com/Neerajj9/Computer-Vision-based-Offside-Detection-in-Soccer
6. 感想，コメント
オフサイド検出×CVの一番新しい論文？
7. bibtex
8. 関連論文
・Sirimamayvadee Siratanita, Kosin Chamnongthai, and Mistusji Muneyasu. Saliency-based football offside detection. 17th International Symposium on Communications and Information Technologies (ISCIT), Cairns, QLD, 2017, pp. 1--4., 2017.
・Karthik Muthuraman, Pranav Joshi, and Suraj K. Raman. Vision based dynamic offside line marker for soccer games. arXiv preprint arXiv:1804.06438, 2018
・Bridgeman Lewis, Volino Marco, Guillemaut Jean-Yves, and Hilton Adrian. Multi-person 3d pose estimation and tracking in sports. June 2019.