Nimble: Lightweight and Parallel GPU Task Scheduling for Deep Learning

[yukarinoki]

ブログもあるよ https://medium.com/friendliai/nimble-lightweight-and-parallel-gpu-task-scheduling-for-deep-learning-b10ff1e7b0b

[yukarinoki]

論文"Nimble: Lightweight and Parallel GPU Task Scheduling for Deep Learning"は、ディープラーニング（DL）のフレームワークがGPUを最大限に活用することにより、DLの推論と学習の速度を向上させることを目指しています。現状では、既存のDLフレームワークのGPUタスクスケジューリングには大きなオーバーヘッドが存在し、不必要なシリアル実行が発生していることが問題となっています。

この問題を解決するため、著者らは"Nimble"というDL実行エンジンを提案しています。Nimbleは「ahead-of-time (AoT) scheduling」という新たな技術を導入しています。この技術により、GPUカーネルの実行前にスケジューリング手順が完了するため、ランタイム中のスケジューリングオーバーヘッドがほとんど排除されます。

[yukarinoki]

GPUがタスクを処理する前に、DLフレームワークは一連の準備ステップ（GPUタスクスケジューリング）を経て、タスクをGPUに提出（GPUタスク送信）しなければなりません。現在のDLフレームワークでは、実行時にGPUタスクスケジューリングを行っていることに注意が必要です。

• TensorFlow、Caffe2、MXNetでは、ニューラルネットワークをDL演算子の計算グラフとして表現し、演算子の依存関係が満たされた時点でその演算子のGPUタスクを実行時にスケジュ
• PyTorchやTensorFlow Eagerでは、Pythonコードが行ごとに解釈されるときにGPUタスクが実行時にスケジュールされます。

[yukarinoki]

• idle time アイドル時間が60%を超えるのが普通らしい、そんなことあるかな？ どうやって計測したんだろうか？

• Latency ResNet50が通常が9msでcで書いたやつが、3msぐらい(2.37倍らしい) 多分V100、PyTorchでの結果らしい。TensorRTでもそんぐらいかな？ あとちょっと早いなという印象がある。

[yukarinoki]

実行とスケジュールの時間にGapがあるらしい

[yukarinoki]

事前スケジューリング

事前実行をしてトレースを取ることで、スケジューラに必要な情報を取得する。

実行トレースと一緒に、Nimbleの事前に時間を計算する（AoT）スケジューラーは、プレ実行のために割り当てられたメモリを予約し、それらをタスクスケジュールにパックします

[yukarinoki]

マルチストリーム

• Nimbleはまずストリーム割り当てを見つけます。
• 依存性のあるGPUタスクを含むストリームの実行順序を保証するために、バリアとして機能することができる特殊タイプのDLオペレータを発行

[yukarinoki]

Setting PyTorch as the baseline, Nimble’s inference speed outperforms PyTorch by up to 22.3 times, and TensorRT by up to 2.8 times.

[yukarinoki]

• 大きなバッチサイズでは効果は限定的、
  • GPUスケジューリングのオーバーヘッドや単一ストリーム実行がフレームワークのパフォーマンスに与える影響はそれほど大きくありません。
• 低バッチサイズなら効果あり
  • CIFAR-10データセットのような小さな入力に対するDLトレーニングに影響を与えます。

[yukarinoki]

• CUDA Stream Capture API
• CUDA Graph API

でスケジュールを実現（まあ、できそうだな）

GPUタスクの情報をキャプチャするためにCUDA Stream Capture APIを使用します。その後、我々はキャプチャした情報からCUDA Graph [21]（つまり、Nimbleにおける実行トレース表現）をインスタンス化します。ランタイムでは、新しい入力テンソルに対するリクエストがあるとき、Nimbleはスケジューリングオーバーヘッドを避けつつ、タスクスケジュールに基づいて記録されたGPUタスクを再生してニューラルネットワークを実行します。私たちはCUDA Graph Launch APIを使用してニューラルネットワークを実行します。このAPIは、CUDA Graph内の情報に基づいてGPUタスクを提出します。