モデルがGPUで推論されない

[KorRyu3]

概要

表題ママ

onnxruntime-gpuにて、モデルの推論がGPUではなく、CPUを使って推論をしていた

• モデルは今まで使われていたv7のサトウキビ用モデル
• 動作機種は石垣島プロジェクト用のラップトップ
• 検証動画はvideo/multi_data1.mp4, アプリの左側でのみ推論

今まで(去年)がどうだったかは不明だが、現時点ではGPUを使ったモデルの推論ができない状態にある

CPUで推論していたからfpsが30近くしか出ていなかった?

原因の考察

onnxruntime-gpuのrequirementsには、cuda 11.8とcuDNN 8.x, Visual C++ 2019 runtimeが必要と書かれていたが、石垣島のPCに入っていなかったから？

[KorRyu3]

直した結果

cuDNNや Visual C++ 2019 runtimeをインストールした結果GPUを使って推論ができたが、推論がものすごく遅くなってしまった(fps15とかしか出ない)ため、何かを間違えている可能性がある。

検証動画は上記と変わらず

cudaを入れなおして調べてみる

[KorRyu3]

cudaを入れなおしても結果は変わらず。 cudaのバージョンは推奨通り11.8, cuDNNも推奨通り8.9.2を入れた

[KorRyu3]

お家WindowsだとちゃんとGPUの方が推論速度は優っているし、fpsも60近く出るんだけどな... なぞ

[KorRyu3]

@Hoku113 小沼さん経由で質問させていただいたGPUのあれこれはこちらです！ この現象は石垣島用PCでのみ発生しているので、来週の火曜日にまた詳しく調査するつもりです。

[Hoku113]

@KorRyu3 自分のデスクトップで動作確認してみたけど、こちらも問題なく動作した。FPSも40以上は普通に出せてる。 Warnigは出ているから、それのせいでパフォーマンスが低下しているというのもあるし、 PCの熱で一時的にやられたって可能性もある。

Warningのせいなのであればもう少し潜っていく必要はありそう

[KorRyu3]

@Hoku113 本日、こちらの調査を行いました。 結論としては、GPUで推論をすると、タスクマネージャーでGPU使用率が見れなくなりました。

試したこと

• 仮想環境の再構築
• cuda 11.8の再インストール
• cuDNN 8.9.2の再インストール
• Visual C++の再インストール
• nvidia driverの再インストール

検証

onnxruntime-gpu (GPU) で推論

パッケージ -> requirements-gpu.txt

onnxruntime (CPU) で推論

パッケージ -> requirements-cpu.txt

結果

onnxruntime-gpuとonnxruntimeでは性能は顕著に変わったため、GPUが使われている可能性があるが使用率を見ることができない。

今後やりたいこと

タスクマネージャーのGPU使用率が上がらない原因が全くの不明なので、一度PCを工場出荷状態に初期化し、再度環境を構築していこうと思っています。

何か重要なデータ等入っているのであれば、それだけ退避させて行おうと考えているので、もしあれば教えて欲しいです！

[KorRyu3]

@Hoku113

BIOSの設定いじったらいけました！

Intelの内蔵グラフィックが悪さをしていた可能性が高いと考えられます。

詳細な原因は不明です。

[Hoku113]

@KorRyu3 何かしらの原因で内蔵グラフィックと競合するようになっちゃったかな？ それとも単に設定の問題の可能性もあるけど。

以下参考サイト

https://jp.minitool.com/news/how-to-disable-integrated-graphics.html

https://fewiki.jp/note-gpu-notuse/

https://www.dell.com/support/kbdoc/ja-jp/000190229/%E5%86%85%E8%94%B5-%E5%B0%82%E7%94%A8-%E3%83%93%E3%83%87%E3%82%AA-%E3%82%AB%E3%83%BC%E3%83%89%E3%81%8C-%E6%90%AD%E8%BC%89%E3%81%95%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B-pc%E3%81%A7-nvidia%E3%83%93%E3%83%87%E3%82%AA%E3%82%92-%E3%83%87%E3%83%95%E3%82%A9%E3%83%AB%E3%83%88%E3%81%AB-%E8%A8%AD%E5%AE%9A%E3%81%99%E3%82%8B-%E6%96%B9%E6%B3%95

[KorRyu3]

@Hoku113 そうですね、競合してしまった可能性も十分にあり得ると思います。

もし今後同じようなことが起こったら、内蔵グラフィックをオフにしようと思います！