Windows 8/Windows 8.1でのDSFの動作を調査する

[Alalf]

いやな予感がするのでIssueに

[Alalf]

いろいろありましてそろそろ更新します 0.2.0完成のモチベは多分新生のアレが盛り上げてくれるハズ・・・・・・

[Alalf]

現状8を取るかXPを取るかという二者択一を迫られてる感じ まさかここまでXP切捨てでこられるとは思わなかった あまりのことにgccへの移植を考えるレベル・・・・・・どうしたものやら

[Alalf]

Visual Studio 2012のUpdate1が出たのでいろいろ調査中。 ついにx64=amd64になったのかPlatformShortnameが変わってた。amd64を全部x64に書き直さないと駄目かなーこれ。

[Alalf]

いまさらだけどVirtualBoxといういいものを知ったので、XPでの動作確認ができそうだ

[Alalf]

ffmpeg側のリファクタリングに合わせて調整中。AVPixelFormatができて、VCでもpixdesc.hの書き換えが必要なくなったようだ。これはありがたい。

[Alalf]

やっぱりやらかしてくれたのはC#/.NETだった・・・ Drag Hereボタンが動かなくなってる。画面のDCに書き込みができなくなった・・・？あとマウス座標からウィンドウを取得できない。これはまずい…

[Alalf]

問題の切り分け完了。Any CPU向けビルドにすると一部Win32APIが使えなくなる。んで32bit優先付けると使えるようになる。.NETは4.0CPでも4.5でも動いた。 要するにAny CPU使わなきゃいいかんじ。ちなみに4.5は正式にXP非対応宣言済み。さて、どうしたものやら・・・

[Alalf]

結論から言うと某B社と某新生がWindows XPをサポートし続ける限り、SCFFもWindows XPを切り捨てるという選択肢はありえない。よって、Visual Studio 2012に移行はするけれどもコンパイラはv110_xp、.NETは4.0CP/x86で固定しよう…

[Alalf]

ふときになってGoogle C++ Style Guide見に行ったらかなり更新されてた！（英語版本家のみ） C++11のautoとnullptr/nullptr_tはがんがん使っていくようにしないとなー。range_based_forもスクリプト言語でおなじみなので使いやすそう。

[Alalf]

enumの前方宣言が便利すぎて鼻血が出そう・・・

[Alalf]

GetDesktopWindow()を排除したほうがいいかもしれない。Windows 8ではメトロアプリよりも階層が上のHWNDなのでコレを取り込もうとするとAeroOn取り込みと同じぐらい動作が遅くなる。Windows 7では:

• SysListView32 (コレが本来とりこみたいデスクトップ)
• SHELLDLL_DefView
• Progman

• 32769(GetDesktopWindow()と同じHWND)

になってるが、おそらくXP/8では違うはず・・・要調査

[Alalf]

VirtualBox上のXPで試したところ（VBox独自の可能性もあり）

• Internet Exproler_Server(コレが本来とりこみたいデスクトップ)
• SHELLDLL_DefView
• Progman

• 32769(GetDesktopWindow()と同じHWND)

[Alalf]

どうやら上はActive Desktopを付けてたときだけか？おそらくWindows 8ではかなり異なるはず。要調査。

[Alalf]

ついでに各種DirectXフック系キャプチャプログラムの調査。いちおうWindows 8に対応してるっぽいが、デスクトップ取り込みに対応しているかどうかはわからない。 SCFFは最初からSCFHの置き換えを狙って作り始めたものだからフックは使わないと決めているが、Windows 8でまともなパフォーマンスでデスクトップキャプチャができないとなると代替案を導入せざるを得ないかもしれない・・・。でも知識も大量のdllにひとつひとつフックプログラムを書く気力もない・・・。困ったもんです。

[Alalf]

そして収穫が。なんとDirect 3Dはテクスチャの画像形式としてYUV形式をサポートしていることが判明！ただし全部16bit。 どうりでYUV2のWMVがGPU支援付きで再生されるわけだ。しかしネットの動画の大半は12bit YUV・・・。 なんかちぐはぐだなあ・・・。

[Alalf]

Windows 8で高速なキャプチャをしたい場合はGDI(DC)を使わずにDXGI Duplicationを使えばいいのかも… http://code.msdn.microsoft.com/windowsdesktop/Desktop-Duplication-Sample-da4c696a/view/Discussions#content

[Alalf]

自分用メモ

• Windows 8はDXGI desktop duplication(以下DXGI DD)でDirect3Dのデスクトップ描画用サーフェイスを直接取ってこれる
  • つまりDC/BitBlt/GetDIBitsが全部いらなくなる
• Direct3Dサーフェース（めんどくさいので以下テクスチャ）はピクセルシェーダでいろいろ出来る
  • ピクセル形式変換、拡大縮小、エフェクトなどなど
  • ただしPCゲーム取り込み前提だとあまり重いことをするとゲームプレイのほうに影響が出るのでやめる
  • Q. どこまでが重いのか？
  • 超巨大なテクスチャ一枚（2048x2048ぐらい）のピクセル形式変換は重いのか？
  • 超巨大なテクスチャ一枚のピクセル形式変換＋拡大縮小は重いのか？
  • A. H.264で現状パフォーマンス最強のOpen Broadcaster Softwareの場合:
  • 内部は全部RGB32のテクスチャ
  • 最後の最後にピクセル形式変換+指定倍率(1.5, 2, 2.25, 3)で縮小(たぶんBilinear)にピクセルシェーダを使っている
  • 任意倍率で出来ない理由（予測）：ピクセルシェーダはあらかじめコンパイルしてないといけないせい？
  • 他にDirectShowでWebCam(大抵YUV)の入力をRGBに変換するのにピクセルシェーダを使っていたりする
• 仮にWindows 8で快適に動作するSCFF DSFを考えた場合
  • 1. DXGI DDでキャプチャして、RGB32のままメインメモリへ転送。後は同じ。
  • 2. DXGI DDでキャプチャしてVRAM上でYUV変換。変換後メインメモリへ転送。拡大縮小だけlibswscaleに任せる。
  • 3. DXGI DD→YUV変換→拡大縮小まで全てピクセルシェーダでやる。これはできないかもしれない（任意倍率の拡大縮小が必要）
  • 4. レイアウト機能も含めて全てDirectXでやる。できればRGB32のままではなく、出力形式と内部形式を合わせたい。さすがにこれはめんどくさい。
• ２が楽そうだし効果が大きそう。GPUへの負荷も最小限でVRAM→メインメモリ転送の量も減らせるし。

[Alalf]

ぼーっと眺めていたら面白いものを発見。 http://msdn.microsoft.com/en-us/library/hh448029(v=vs.85).aspx このDXGIManagerからDesktopDuplicationできないかな・・・。

[Alalf]

MFMEDIASOURCE_IS_LIVEのサンプルが2013年になっても一つもないというのはいったいどういうことなの

[Alalf]

D3D10/10.1/11のキャプチャ機能を考え中。コレが実現できればDXGI Desktop Duplication対応も可能なはず。

[Alalf]

• DXGISwapChainを渡されたHWndからなんとかして得る
• DXGISwapChainからBackbufferを何とかして得る
• BackbufferのD3DXXDeviceContextからCopyResourceもしくはCalcSubresource/CopySubresourceRegionしてメインメモリにコピー
• 後は同じ

[Alalf]

OpenProcess()を直接呼んだらAntiVirusソフトに誤検出されるらしい。Injectionなかなか奥が深い…。

[Alalf]

OBSの基本的な流れとしては：

• 対象のプロセスにInjectiHelper.exeでInjection
• CreateRemoteThreadを実行してDLLを読み込むスレッドを走らせる
• そのDLLの中では共有メモリ上のCaptureInfoで指定された対象（画像データ。ゲームキャプチャならVRAM上のバックバッファ）を共有メモリ（メインメモリ）に書き込み続けるスレッドが走っている
• 基本的にやりとりは全て共有メモリを介している

[Alalf]

• GraphicsCaptureHook.dllとInjectionHelper.exeはOBSApi.hに依存していないので直接使うという手もあるかもしれない
• なお、DesktopDuplicatorはInjectionを必要としないのでもっと楽に作れる

[Alalf]

InjectorでLoadLibraryされたDLLのスレッドの生存期間をOBSのHWNDで判断しているので、そのまま使おうとするとOBSと併用できなくなる可能性がある。 となると書き換えが必要だが、OBSのソースはGPLなのでややこしいことになる。

やはり参考にしながら書くのが正解か

[Alalf]

InjectHelper.exeが独立したexeである必要はないが、GraphicsCaptureHook.dllは独立したdllではなければならない。 つまり

• SCFF.GUI.exe - SCFF DSF
• SCFF.GUI.exe - (InjectHelper.exe) - SCFF.Hook.dll のように、複数のプロセスを管理しなければならない？

ここにきてSCFF DSFからProfile機能を取っ払って共有メモリの中身を書くだけのフィルタにしたくなってきた

[Alalf]

知れば知るほどグレーゾーンに突入している感じ。これ「実行中のプログラムを書き換えてはならない」とかゲームの規約に入ってたらどうなるんだろう。

スクリーンキャプチャ機能はOSの標準機能ですとお茶を濁せるのはキャプチャプログラムの利点か

[Alalf]

Desktop Duplicationはアリだが、Injectorを利用したDirectXキャプチャはナシの方向で だが、結局IDXGIResourceに対する処理(CalcSubresource/CopySubresourceRegion)は一緒なので知識は無駄にはならなそう

[Alalf]

別のIssueに移動