【第4章】PAFの説明

[hkawash]

小川様

4章のPAFについて質問やコメントが2点あります．（初版第8刷）

（質問）p.236の本文「また左肘1と左手首1をつなぐ直線からずれた場所の・・・」や p.237 の図4.7.3 では，左肘1と左手首1を結んだ線を対角線とする長方形を考えているのですが，これは論文や実装のどこにあたるでしょうか？

• 論文ではパーツ間を結んだ線分上で線積分するとなっています．（[1]であれば式(11)）
• 実装 decode_pose でも，num_intermed_pts 個の点に離散化して直線上で総和をとっているように見えます．(https://github.com/YutaroOgawa/pytorch_advanced/blob/master/4_pose_estimation/utils/decode_pose.py であれば line 225-230)

（コメント）PAFはベクトル場のはずですが，本文ではスカラー場のような説明になっています．各ピクセルがベクトルになっていることを読み取るのが難しいと思いました．一方で，各リンクで2チャネルある（ベクトル座標）と p.191で書かれているので，いろいろと疑問が出てきました．

• p.200 の「直線上にあるピクセルは1に」とは何か，x, y 方向はどうなるのか（2チャネルで両方1にするように読めるが実際は単位ベクトル）
• なぜ38チャネルで予測するのか（予測した後の2チャネルをどう使うのか）．p.236 の「PAFの値」や「PAFの和」とは何か
• コードの「xベクトル」はベクトルのx 座標のことかと思いますが，なぜ xだけなのか

PAF の解説を省略されたのかと思いますが，OpenPose のポイントですし，是非，増刷の際に PAFの各ピクセルは方向を持っている（ベクトルである）という前提で説明をしていただければ，と思いました．

[YutaroOgawa]

@hkawash さま

OpenPoseのキモであるPAFについて、詳細なコメントならびにご質問を誠にありがとうございます。

コメントにつきましては、本IssueをcloseせずにOpenにしておくことで、他の読者の方の参考にもさせて下さい。 増刷では誤植修正レベルしか書き直せないため、改訂版が執筆出版できることがあれば、本件、ぜひ取り入れさせてください。

ご質問の積分領域につきましては、私が勘違いしている可能性が高いと思われます。 きちんと確認後に回答、対応を行います。

少々お待ちくださいませ。

他の読者の方々にとっても非常に有益となるコメントを頂き、誠にありがとうございます。 今後ともどうぞよろしくお願い致します。