セマンティックセグメンテーションのための深層領域分離とサンプルクラスタ化フェデレーテッドラーニング

[fulfulggg]

タイトル: セマンティックセグメンテーションのための深層領域分離とサンプルクラスタ化フェデレーテッドラーニング

リンク: https://arxiv.org/abs/2410.14693

概要:

実証研究によると、Federated Learningは、Non Independent and Identically Distributed (IID) 設定において収束の問題を示すことが分かっています。しかし、これらの研究は、ラベル分布のシフト、または概念のシフト（例：曖昧なタスク）にのみ焦点を当てています。本稿では、2Dセグメンテーションタスクにおける参加者のデータ間の共変量シフトの影響を初めて探求し、ラベルシフトよりもはるかに深刻ではないものの、収束に影響を与えることを示します。さらに、現在のPersonalized (PFL) およびClustered (CFL) Federated Learning手法は、クライアントレベルで動作することで、各参加者のデータセットの均質性と将来のテストサンプルとの整合性を本質的に前提としています。本稿では、各参加者が複数の基礎となる特徴領域分布の混合を所有するという、より一般的で現実的なフレームワークを紹介します。Federated Learningでトレーニングされたモデルに影響を与える、このような病理学的特徴分布を診断するために、モデルの勾配空間で画像領域を直接分離するDeep Domain Isolation (DDI) を開発しました。各クラスのサンプル勾配にFederated Gaussian Mixture Modelを適合させ、サーバー側でスペクトラルクラスタリングと結果を組み合わせて、分散型サンプルレベルのドメインを分離します。このクラスタリングアルゴリズムをSample Clustered Federated Learning (SCFL) フレームワークを通じて活用し、分散型画像ドメインごとに1つずつ、複数の独立したモデルの標準的なFederated Learningを実行します。最後に、テストサンプルを推論時に対応するドメインクラスタに関連付けることができる分類器をトレーニングし、各参加者のテスト分布に関する仮定に依存しない最終的なモデルセットを提供します。EfficientVIT-B0モデルを使用して、トイセグメンテーションデータセットとCityscapesとGTA5データセットの組み合わせのさまざまな分割でアプローチを検証し、他のアプローチと比較して大幅なパフォーマンスの向上を示しています。コードはhttps://github.com/MatthisManthe/DDI_SCFL で入手できます。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• federated-learning
• image-segmentation
• domain-generalization

[fulfulggg]

論文要約

論文要約: セマンティックセグメンテーションのための深層領域分離とサンプルクラスタ化フェデレーテッドラーニング

この論文は、セマンティックセグメンテーションという画像認識タスクにおいて、データの偏りが機械学習モデルの学習に与える影響と、その問題に対処する新しい学習方法を提案しています。

従来の問題点:

• データの偏り: 従来のFederated Learningは、各参加者のデータが独立していることを前提としていましたが、現実にはデータの偏りがあり、学習の精度に悪影響を及ぼしていました。
• クライアントレベルの均質性の仮定: 従来の手法は、各参加者のデータセット内が均質であることを前提としていましたが、実際には多様なデータが混在している場合があり、学習の精度が低下する可能性がありました。

提案手法:

• Deep Domain Isolation (DDI): 画像データの各領域が持つ特徴を分析し、データの偏りを検出します。
• Sample Clustered Federated Learning (SCFL): 検出したデータの偏りに基づいて、データを複数のグループに分類し、グループごとに独立したモデルを学習します。これにより、データの偏りの影響を軽減し、より高精度なモデルを学習できます。

効果:

• CityscapesとGTA5という大規模データセットを用いた実験により、提案手法が従来手法と比較して、セグメンテーションの精度を大幅に向上させることを確認しました。

貢献:

• 本研究は、Federated Learningにおけるデータの偏りの影響を詳細に分析し、その問題に対処する新しい学習方法を提案しました。
• 提案手法は、自動運転や医療画像診断など、高精度なセマンティックセグメンテーション技術が求められる様々な分野への応用が期待されます。