e4exp
commented
3 years ago 1 はじめに
大規模なラベル付きデータセットは，画像分類，感情分析，音声分類などの分野で，教師付き機械学習を成功させるために不可欠なものとなっています。 しかし，データセットを構築するためのプロセスには，ある程度の自動ラベリングやクラウドソーシングが含まれることが多く，これらの技術は本質的にエラーが発生しやすいものである[Sambasivan et al.，2021]． エラー修正のコントロールがあっても［Kremerら、2018、Zhangら、2017］、エラーがすり抜けてしまうことがある。 先行研究では、ノイズの多いラベルの結果について検討されてきましたが、通常はノイズの多いラベルを使った学習という文脈で、通常は訓練セットのノイズに焦点を当てていました。 いくつかの過去の研究では、ノイズの多いラベルで学習する技術があるため、ラベルノイズは大きな問題ではないと結論づけられており[Patriniら、2017年、Natarajanら、2013年]、また、深層学習はラベルノイズに対して自然にロバストであると考えられているため[Rolnickら、2017年、Sunら、2017年、Huangら、2019年、Mahajanら、2018年]。
しかし、テストセットのラベルエラーはあまり研究されておらず、異なる潜在的な結果を持っています。 少数の機械学習データセット、例えばImageNetデータセットにおける訓練セットのラベルにはエラーが含まれていることがよく知られていますが[Northcutt et al., 2021, Shankar et al., 2020, Hooker et al., 2019]、テストセットのラベル付きデータは、訓練セットと同じ分布から抽出されている限り「正しい」と考えられることが多いのですが、これは誤りで、機械学習のテストセットには広範なエラーが含まれる可能性があり、また実際に含まれており、これらのエラーはMLベンチマークを不安定にします。 研究者は、技術の進歩を評価・測定し、理論的知見を検証するために、ベンチマークテストデータセットに依存しています。 もしラベルエラーが大量に発生すれば、機械学習の進歩を測る枠組みが崩れてしまう可能性があります。 実務者は、慎重に作成されたベンチマークデータよりもノイズの多い実世界のデータセットに依存していることが多い。 これらのテストセットのラベルエラーは、どのモデルが実際の世界で最も優れた性能を発揮するかについて、実務者を誤った結論に導く可能性があります。 本研究では，コンピュータビジョン，自然言語処理，音声処理の分野で一般的に使用されている10種類のデータセットについて，ラベルの誤りを特定し，体系的に分析した初めての研究を紹介する． ノイズの多いラベルに関する先行研究とは異なり、合成ノイズではなく、自然に発生するエラーを用いて実験を行っています。
本論文では，ラベルエラーに対処するための新たな方法論を探るのではなく，MLの進歩を測るために使用される人気のあるベンチマークのテストデータにおけるラベルエラーの有病率を特徴づけることを目的とし，続いてこれらのエラーの実用的な結果，特にモデル選択への影響を分析する． 本研究では，確信的学習（Northcutt et al., 2021）を用いて，スケール2のテストセットに含まれるラベルエラーをアルゴリズムで特定し，そのラベルエラーを人間の評価によって検証したところ，平均で3.4%のエラーが発生していた． 例えば、テストセットとして一般的に使用されているImageNet検証セットでは2916個（6％）のエラーを特定し、QuickDrawでは500万個（10％）以上のエラーを推定している。 図1は、今回調査した画像データセットで検証されたラベルの誤差の例を示している。
ImageNetとCIFAR-10をケーススタディとして使用し、テストセットのラベルエラーがベンチマークの安定性に与える影響を理解した。 これらのベンチマークのテストデータには多数の誤ったラベルが含まれていますが、これらのラベルエラーを除去または修正しても、ベンチマーク内のモデルの相対的な順位には影響がないことが分かりました。 例えば、NasNetのような大容量モデルは、ResNet-18のようなパラメータ数の少ないモデルに比べて、系統的なラベル誤差の分布を予測値に反映させることができず、この効果は誤ったラベルを持つテストデータが多いほど大きくなります。 これは従来のオーバーフィッティングとは異なります。 大規模なモデルは、テストデータに含まれるノイズの多いラベルに対してより良く一般化することができますが、これらのモデルは、誤ってラベル付けされたテスト例の補正されたラベルで評価した場合、低容量のモデルよりも悪い予測結果を出すという問題があります。 誤ってラベル付けされたデータの割合が高い現実の環境では、低容量のモデルが高容量のモデルよりも実質的に有用である可能性があります。 例えば、最初に与えられたラベルに対するテスト精度ではNasNetがResNet-18よりも優れているように見えるかもしれませんが、実際には補正されたラベルに対するテスト精度ではNasNetはResNet-18よりも劣っています。 実際には後者の精度が重要なので、ここではNasNetではなくResNet-18を導入すべきですが、これはテストデータのラベルを補正しないとわかりません。 一般的な学習済みモデルのベンチマークがどのように変化するかを評価するために、テストデータセット内の修正可能な（しかし元々は間違ったラベルの）データの割合をコントロールすることで、ノイズの有病率を段階的に増加させます。 この方法により、ベンチマークの順位が変化したテストセットごとに、ノイズの有病率を測定することができます。 例えば、ラベルを修正したImageNetでは、ResNet-18がResNetを上回りました。 例えば、ラベルを修正したImageNetでは、元々誤ったラベルを付けられたテスト例の割合が6％増加しただけで、ResNet-18はResNet-50を上回っています。
我々の貢献は以下の通りです。
-
シンプルなアルゴリズムとクラウドソーシングを用いてラベル・エラーを識別・検証することで、ほとんどすべての機械学習研究で使用されている一般的なベンチマークのテスト・セットにラベル・エラーが蔓延していることを発見した。
-
2.各テストセットには、ラベルエラーの大部分が人間によって修正された、クリーンアップされた修正版を提供している3。将来、これらのベンチマークの研究では、元の誤ったラベルの代わりに、この改良されたテストデータが使用されることを期待しています。
-
3.テストセットのラベルエラーが蔓延していることの意味を分析した。しかし、これらのモデルは、補正されたラベルの精度（実際には気になるが、我々が提供する手動で補正されたテストデータがなければ測定できないもの）という点では、単純なモデルよりも劣ることがわかった。
-
4.一般的に使用されているベンチマークデータセットを用いたケーススタディでは、MLベンチマークを不安定にするために必要な、つまり低容量モデルが高容量モデルを上回るために必要な、元々誤ったラベルのテストデータの有病率を明らかにした。その結果、テストラベルの誤りの割合がわずかに増加しただけで、標準的なテスト精度に基づいて誤ったモデルが選択されてしまうことがわかりました。
この発見は、MLの実務者が、テストセットのラベルを修正して、モデルが実世界でどのように動作するかをベンチマークすることや、データセットのラベルが金標準のベンチマークデータセットのラベルよりもノイズが多い傾向にあるアプリケーションでは、より単純で小さいモデルを使用することが有益であることを示唆しています。 データセットがこの影響を受けるほどノイズが多いかどうかを確認する一つの方法は、少なくともテストセットのラベルを修正することである（例えば、我々の簡単なアプローチを使用する）。
本研究では，コンピュータビジョン，自然言語，オーディオのデータセットのうち，最も一般的に使用されている10個のテストセットにおけるラベルエラーをアルゴリズムによって特定し，これらのラベルエラーがベンチマークの結果に影響を与える可能性を調査しました． 10個のデータセットの平均誤差は3.4%と推定され、例えばImageNetの検証セットでは2916個のラベルエラーが6%を占めていました。 推定されるラベルエラーは、自信を持って学習することで発見され、クラウドソーシングで人間が検証します（アルゴリズムでフラグを付けた候補の54％が実際に誤ってラベル付けされています）。 意外なことに、誤ってラベル付けされたデータの割合が高い現実のデータセットでは、容量の小さいモデルの方が、容量の大きいモデルよりも実質的に有用であることがわかった。 例えば、ラベルを修正したImageNetでは、ResNet-18がResNetを上回りました。 例えば、ラベルを修正したImageNetでは、元々誤ったラベルを付けたテスト例の割合がわずか6％増加しただけで、ResNet-18はResNet-50を上回ります。 CIFAR-10のラベルを修正した場合。 また、CIFAR-10のラベルを修正した場合、VGG-11はVGG-19よりも優れていますが、これは元々のラベルが間違っていたテスト例の割合が5％増加した場合です。 従来、MLの実務者は、テストの精度に基づいてどのモデルを導入するかを選択していましたが、今回の発見は、特にノイズの多い実世界のデータセットにおいては、正しくラベル付けされたテストセットでモデルを判断する方が有用であることを提案しており、注意が必要です。