TsingZ0 / PFLlib

37 traditional FL (tFL) or personalized FL (pFL) algorithms, 3 scenarios, and 20 datasets.
GNU General Public License v2.0
1.44k stars 298 forks source link

关于代码中测试准确度方法的疑问 #109

Closed syq1175554320 closed 1 year ago

syq1175554320 commented 1 year ago

在代码中,计算平均测试准确度的方式好像是:用所有客户端预测正确的样本数之和与所有客户端的测试样本数之和做比值求出。 而用分别求出每个客户端的测试准确度然后求平均的方式,发现针对不同的算法,在平均测试准确度上有明显的差异,有时前者比后者高,有时低,想请教一下这个问题。

TsingZ0 commented 1 year ago

最近比较忙,很抱歉回复晚了。

有差异是难免的。因为第一种方法其实是对客户端准确度的一种加权平均,而第二种方法是直接平均。不同的算法对于客户端的公平性不同。越不公平的算法,这两种计算方式带来的差距越大。