TsingZ0 / PFLlib

37 traditional FL (tFL) or personalized FL (pFL) algorithms, 3 scenarios, and 20 datasets.
GNU General Public License v2.0
1.35k stars 283 forks source link

How about Dirichlet Distribution? #186

Closed R-16Bob closed 4 months ago

R-16Bob commented 4 months ago

据我所知,狄利克雷分布也常常用于联邦学习的non-IID数据设置,例如[1],因为它可以通过调节超参alpha来模拟不同的non_IID程度。而公众号中提到“标签倾斜进一步还分为病态的非独立同分布(pathological non-IID)和真实的非独立同分布(practical non-IID)两个子场景。” 能否讨论狄利克雷分布属于哪个场景?还有在代码里增加这种数据划分方式?

[1] Chen, Zihan, Howard Yang, Tony Quek, and Kai Fong Ernest Chong. "Spectral Co-Distillation for Personalized Federated Learning." Advances in Neural Information Processing Systems 36 (2024).

TsingZ0 commented 4 months ago

公众号的内容主要是用来快速浏览,越简短越好,目的并非是精确翻译论文。具体实现在论文原文中都有详细描述,请参阅原文。一般论文中的“真实的非独立同分布”对应的是“使用狄利克雷分布”

R-16Bob commented 4 months ago

看到描述了,论文对实验的设置非常详细,非常感谢。