Open betashort opened 4 years ago
betashort
commented
4 years ago クラスタリングは教師なし学習法の一種であり、コンピュータビジョンの分野で広く応用され研究されてきました。大規模データセット上での視覚特徴量のエンドツーエンド学習に適用するための研究はほとんど行われていない。本研究では、ニューラルネットワークのパラメータと生成された特徴のクラスタ割り当てを共同で学習するクラスタリング手法であるDeepClusterを紹介する。DeepClusterは、標準的なクラスタリングアルゴリズムであるkmeansを用いて特徴を反復的にグループ化し、その後の代入をネットワークの重みを更新するための監視として利用する。我々は、ImageNetやYFCC100Mのような大規模データセットにおける畳み込みニューラルネットワークの教師なし学習にDeepClusterを適用しました。得られたモデルは、すべての標準的なベンチマークにおいて、現状の技術を大幅に上回る性能を示しました。
betashort
commented
4 years ago 事前学習された畳み込みニューラルネットワーク（コンボネット）は、ほとんどのコンピュータビジョンアプリケーションの構成要素となっています[1,2,3,4]。これらのネットワークは、限られたデータ量で学習されたモデルの一般化を改善するために使用できる優れた汎用的な特徴量を生成します[5]。完全教師付きの大規模データセットであるImageNet [6]が存在することで， convnetsの事前学習が促進されてきた．しかし，StockとCisse [7]は最近，ImageNet上の最新の分類器の性能が大きく過小評価されており，誤差がほとんど解消されていないことを示す実証的証拠を提示した．このことは，近年多数の新しいアーキテクチャが提案されているにもかかわらず，性能が飽和状態にある理由の一端を説明している[2,8,9]．実際のところ、ImageNet は今日の基準では比較的小さいもので、物体分類という特定の領域をカバーする 100 万枚の画像しか含まれていません。これを前進させるためには、より大規模で多様性のあるデータセットを構築し、数十億枚の画像からなる可能性があります。そのためには、長年にわたってコミュニティによって蓄積されてきたクラウドソーシングの専門知識にもかかわらず、膨大な量の手作業による注釈を必要とすることになります[10]。ラベルを生のメタデータで置き換えると、視覚表現にバイアスがかかり、予測できない結果になります[11]。このため，インターネット規模のデータセット上で監視なしで学習できる手法が求められている．教師なし学習は機械学習のコミュニティで広く研究されており[12]、クラスタリング、次元削減、または密度推定のためのアルゴリズムがコンピュータビジョンアプリケーションで定期的に使用されている[13,14,15]。例えば、「特徴量の袋」モデルは、手作りの局所記述子に対するクラスタリングを使用して、画像レベルの優れた特徴量を生成しています[16]。これらのモデルが成功した主な理由は，衛星画像や医療画像のような特定の領域やデータセット，あるいは深度のような注釈が必ずしも大量に得られない新しいモダリティで撮影された画像に適用できることです．いくつかの研究では，密度推定や次元削減に基づく教師なし手法を深層モデルに適用することが可能であることが示されており[17,18]，万能な視覚的特徴量につながることが示されています[19,20]．画像分類におけるクラスタリング手法の原始的な成功にもかかわらず，クラスタリング手法をコンブネットのエンドツーエンドの学習に適応させるために提案された研究は非常に少ない[21,22]．問題は，クラスタリング手法が主に固定された特徴量の上に線形モデルを置くために設計されてきたことであり，特徴量を同時に学習しなければならない場合にはほとんど機能しないことである．例えば、k-meansを用いたコンボネットの学習では、特徴量をゼロにしてクラスタを1つの実体に縮めてしまうという些細な解決策が取られてしまいます。 本研究では、大規模なエンドツーエンド学習のための新しいクラスタリング手法を提案する。本研究では、クラスタリングのフレームワークを用いることで、汎用的な視覚特徴量を得ることが可能であることを示す。我々のアプローチは、図1にまとめられており、画像記述子のクラスタリングと、クラスタの割り当てを予測することでコンボネットの重みを更新することを交互に繰り返すことで構成されている。単純化のためにk-meansに焦点を当てているが、Power Iteration Clustering (PIC) [23]のような他のクラスタリングアプローチを使用することも可能である。全体的なパイプラインは、多くの一般的なトリックを再利用するために、標準的な教師付き学習に十分に近いものである[24]。自己教師付き手法[25,26,27]とは異なり、クラスタリングはドメイン知識をほとんど必要とせず、入力からの特定の信号を必要としないという利点がある[28,29]。そのシンプルさにもかかわらず，我々のアプローチは，これまでに発表された教師なしの手法と比較して，ImageNet の分類と転送の両方のタスクにおいて有意に高い性能を達成している．最後に，実験プロトコル，特に訓練セットと convnet アーキテクチャを変更することで，我々のフレームワークのロバスト性を検証する．結果として得られた実験セットは、Doerschら[25]が開始した、教師なし手法の性能に対するこれらの選択の影響に関する議論を拡張したものである。我々は、我々のアプローチがアーキテクチャの変更にもロバストであることを実証している。AlexNetをVGG[30]に置き換えることで、特徴量の品質とそれに続く転送性能が大幅に向上します。さらに重要なことは，教師なしモデルの学習セットとしてのImageNetの使用について議論していることです．ImageNet は，ネットワークの性能に対するラベルの影響を理解するのに役立つが，ImageNet は，細分化された画像分類の課題に使用されたことから継承された特定の画像分布を持っている：それは，バランスのとれたクラスで構成され，例えば，多種多様な犬種を含んでいる．我々は，Thomeeら[31]のYFCC100MデータセットからのランダムなFlickr画像を代替として考慮しています．我々のアプローチが、この未硬化のデータ分布で学習したときに、最先端の性能を維持していることを示しています。最後に，現在のベンチマークでは，教師なし凸ネットがクラスレベルの情報を取得する能力に焦点を当てている．我々は、インスタンスレベルの情報を取得する能力を測定するために、画像検索ベンチマークでも評価することを提案する。本論文では、以下のような貢献を行う。(i) k-meansのような標準的なクラスタリングアルゴリズムで動作し、最小限の追加ステップを必要とする新しい教師なし学習法、(ii) 教師なし学習で使用される多くの標準的な伝達タスクでの最新の性能、(iii) 未処理の画像分布で学習した場合の従来の技術を上回る性能、(iv) 教師なし特徴量学習における現在の評価プロトコルについての議論である。
betashort
commented
4 years ago 本論文では、教師なし学習のためのスケーラブルなクラスタリングアプローチを提案する。本論文では、クラスタリング手法を用いた教師なし学習のためのスケーラブルなクラスタリング手法を提案する。本手法は、クラスタリングの際に生成された特徴量をk-meansでクラスタリングし、識別損失の疑似ラベルとしてクラスタの割り当てを予測して重みを更新することを繰り返し行う。ImageNetやYFCC100Mのような大規模なデータセットで学習した場合、すべての標準的な転送タスクにおいて、従来の最先端技術を大幅に上回る性能を達成することができる。我々のアプローチは、入力に対する仮定が少なく、領域固有の知識をあまり必要としないため、アノテーションが少ない領域に特化した深層表現の学習に適している。
betashort
commented
4 years ago github : https://github.com/facebookresearch/deepcluster
chainer版 : https://github.com/onnga-wasabi/chainer-DeepClustering
0. 論文情報・リンク
論文リンク：https://arxiv.org/abs/1807.05520 http://openaccess.thecvf.com/content_ECCV_2018/papers/Mathilde_Caron_Deep_Clustering_for_ECCV_2018_paper.pdf
公開日時：Submitted on 15 Jul 2018 実装コード： Publication : Arxiv
1. どんなもの？
CNNを利用したEnd-to-Endの教師なしクラスタリングを提案した。
2. 先行研究と比べてどこがすごいの？
3. 技術や手法の"キモ"はどこにある？
4. どうやって有効だと検証した？
5. 議論はあるか？
6. 次に読むべき論文はあるか？
7. 実装
8. 参考文献