search

wenzhu23333 / Differential-Privacy-Based-Federated-Learning

Everything you want about DP-Based Federated Learning, including Papers and Code. (Mechanism: Laplace or Gaussian, Dataset: femnist, shakespeare, mnist, cifar-10 and fashion-mnist. )
GNU General Public License v3.0
348 stars 55 forks source link

关于梯度加噪的问题 #22

Closed sherlock-CHN closed 7 months ago

sherlock-CHN commented 7 months ago

作者你好，看到您和另一个人在讨论加噪的问题。我这里有几点疑问，我也是刚开始学DP+FL不久，希望能得到您的解答。 看到您说这份代码是对梯度进行加噪。我问了下GPT，他说state_dict是模型的参数，并不是梯度，提的是模型的参数。

111

image 如果是对梯度加噪的话，我看某些论文需要在加噪后还需要除以批量样本数，但我在您的代码里并没有找到这个操作，是我哪里理解错了吗？ 1233

wenzhu23333 commented 7 months ago

1、本仓库的实现使用的是full batch size，也就是说batch size大小为数据集大小。 2、将1/L分之一乘进去，可以此项也可以反映在噪声的Sensitivity中，本仓库是在sensitivity中除去了batch size的大小（也即是数据集大小）。