NPU-CIM ヘテロジニアス AR/VR デバイス向けハイブリッドモデルのニューラルアーキテクチャサーチ

[fulfulggg]

タイトル: NPU-CIM ヘテロジニアス AR/VR デバイス向けハイブリッドモデルのニューラルアーキテクチャサーチ

リンク: https://arxiv.org/abs/2410.08326

概要:

低遅延かつ低消費電力のエッジAIは、バーチャルリアリティや拡張現実アプリケーションに不可欠です。近年の進歩により、畳み込み層（CNN）とTransformer（ViT）を組み合わせたハイブリッドモデルが、さまざまなコンピュータービジョンや機械学習（ML）タスクにおいて、精度とパフォーマンスのトレードオフの点で優れた結果をもたらすことが示されています。しかし、ハイブリッドMLモデルは、データフローやメモリアクセスパターンが多様であるため、レイテンシとエネルギー効率の点でシステム上の課題をもたらす可能性があります。本研究では、ニューラルプロセッシングユニット（NPU）とコンピューティングインメモリ（CIM）のアーキテクチャの異質性を活用し、これらのハイブリッドモデルを効率的に実行するために多様な実行スキーマを実行します。また、NPUとCIMの両方を備えた異種エッジシステム向けに、効率的なハイブリッドCNN/ViTモデルを設計するためのニューラルアーキテクチャ検索フレームワークであるH4H-NASを紹介します。H4H-NASのアプローチは、実際のシリコン上で測定されたNPUのパフォーマンス結果と、業界のIPに基づくCIMのパフォーマンスで構築されたパフォーマンス推定器によって強化されています。H4H-NASは、きめ細かい粒度でハイブリッドCNN/ViTモデルを検索し、ImageNetデータセットにおいて、最大1.34%のTop-1精度の向上を達成しました。さらに、アルゴリズム/ハードウェア協調設計の結果、ベースラインソリューションと比較して、このような異種コンピューティングを導入することで、全体的なレイテンシが最大56.08%、エネルギーが最大41.72%向上することが明らかになりました。このフレームワークは、ハイブリッドネットワークアーキテクチャと、NPU+CIM異種システムのシステムアーキテクチャの設計をガイドします。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• efficient-ml
• model-compression
• neural-network-pruning

[fulfulggg]

論文要約

NPU-CIM ヘテロジニアス AR/VR デバイス向けハイブリッドモデルのニューラルアーキテクチャサーチ：論文要約

• 背景: AR/VR アプリケーションには、低遅延かつ低消費電力のAI処理が求められます。CNNとViTを組み合わせたハイブリッドモデルは高精度ですが、複雑なため、従来のハードウェアでは効率的な実行が困難です。

• 提案: 本論文では、NPU（ニューラルプロセッシングユニット）とCIM（コンピューティングインメモリ）という異なるアーキテクチャを組み合わせた、ハイブリッドモデル向けの新規ニューラルアーキテクチャ検索フレームワーク「H4H-NAS」を提案します。

• H4H-NASの仕組み:

  • NPUとCIMのそれぞれの特性に最適化された実行スキーマを採用
  • 実際のNPUのパフォーマンスデータと、業界標準に基づくCIMのパフォーマンス推定器を用いることで、高精度な性能予測を実現

• 成果:

  • ImageNetデータセットにおいて、従来手法と比較して最大1.34%の精度向上
  • NPU+CIMの異種コンピューティングにより、最大56.08%のレイテンシ削減、最大41.72%のエネルギー消費削減

• 結論: H4H-NASは、高精度かつ効率的なハイブリッドモデルの設計を可能にし、AR/VRデバイスにおける高度なAI処理の実現に貢献します。