Implicit Neural Representations with Periodic Activation Functions

論文へのリンク

[arXiv:2006.09661] Implicit Neural Representations with Periodic Activation Functions

著者・所属機関

Vincent Sitzmann, Julien N. P. Martel, Alexander W. Bergman, David B. Lindell, Gordon Wetzstein

Stanford University

投稿日時（YYYY-MM-DD）

2020-06-17

1. どんなもの？

2. 先行研究と比べてどこがすごいの？

まず本研究では以下の陰関数を満たすようなパラメータΦを探索する方法に関して議論している。この式では、m次元の空間（時間）座標系xでの値とその導関数が0になるような関数Fを満たすようにパラメータΦを制限している。

こういった表現は科学の分野ではよく見られ、画像などのデジタル信号や3次元表現、ポアソン方程式のような偏微分方程式などに現れる。

連続的なパラメータΦには、離散的なグリッド表現よりもいくつか利点が存在する。

離散グリッドではグリッド単位での解像度しか得られないが、ネットワーク構造の表現能力に依存はするが、連続的に表現することでより細部の表現をモデル化することができる。
微分可能であることで、勾配と高次導関数が自動微分などを使用して解析的に計算できる。

ニューラルネットワークでパラメータΦを計算することは上記の点で重要である。従来の研究では、このニューラルネットワークにReLUが採用されていたが、ReLU関数は区分的に線形であり、また2次の微分が全区間で0になってしまう。そのため、信号などで出現する高次導関数の制約が存在する情報をモデル化することができなかった。

この問題に対処するために、代替として高次導関数を表現できるTanh関数やSoftplus関数を使用することも考えられるが、これらの関数では細部の情報を表現することができない。

本研究では、この問題に対処するためにMLPと周期性のある活性化関数を組み合わせた手法を提案している。この手法により、画像や3次元形状などの複雑な信号やその導関数を頑強に満たすようなパラメータΦを獲得している。

3. 技術や手法の"キモ"はどこにある？

3.1 Periodic Activations for Implicit Neural Representations

本研究では提案しているSIRENでは、ReLU関数の代わりに周期関数であるSin関数を採用している。これは通常の線型結合層で活性化関数にSin関数を使用しており、以下の式で表現される。

shimopino / papers-challenge