Closed R-16Bob closed 4 months ago
据我所知,狄利克雷分布也常常用于联邦学习的non-IID数据设置,例如[1],因为它可以通过调节超参alpha来模拟不同的non_IID程度。而公众号中提到“标签倾斜进一步还分为病态的非独立同分布(pathological non-IID)和真实的非独立同分布(practical non-IID)两个子场景。” 能否讨论狄利克雷分布属于哪个场景?还有在代码里增加这种数据划分方式?
[1] Chen, Zihan, Howard Yang, Tony Quek, and Kai Fong Ernest Chong. "Spectral Co-Distillation for Personalized Federated Learning." Advances in Neural Information Processing Systems 36 (2024).
公众号的内容主要是用来快速浏览,越简短越好,目的并非是精确翻译论文。具体实现在论文原文中都有详细描述,请参阅原文。一般论文中的“真实的非独立同分布”对应的是“使用狄利克雷分布”
看到描述了,论文对实验的设置非常详细,非常感谢。
据我所知,狄利克雷分布也常常用于联邦学习的non-IID数据设置,例如[1],因为它可以通过调节超参alpha来模拟不同的non_IID程度。而公众号中提到“标签倾斜进一步还分为病态的非独立同分布(pathological non-IID)和真实的非独立同分布(practical non-IID)两个子场景。” 能否讨论狄利克雷分布属于哪个场景?还有在代码里增加这种数据划分方式?
[1] Chen, Zihan, Howard Yang, Tony Quek, and Kai Fong Ernest Chong. "Spectral Co-Distillation for Personalized Federated Learning." Advances in Neural Information Processing Systems 36 (2024).