代码什么时候能放出来

Light-- commented 3 years ago

想复现一下
这篇论文的方法和 Partial FC: Training 10 Million Identities on a Single Machine 有什么异同吗？@anxiangsir @bilylee

bilylee commented 3 years ago

代码正在清理中，预计在 6 月份 release；
和 partial FC 的不同主要是：
- 给定包含 C 个类别的训练集，同样是采用 10% 的类别，DCQ 创建一个队列，队列大小是 10% x C。每次迭代只更新队列中的 Batch size 个类。Partial FC 则是每次从 C 个类别中一次性 sample 10% x C 个类。也就是说 DCQ 在不同迭代之间有类别的复用。

DCQ 用 feedforward 的方式直接生成 class weights，Partial FC 则是采用了常见的做法，首先随机初始化 class weighs，然后用 SGD 进行更新。通过 feedforward 的方式生成，有几个好处。一是减少了内存占用。因为不需要保存所有类别的 class weights，只需要保留 10% x C 的 class weights，其他的 class weights 可以按需临时生成。二是对于 long tailed distribution 更加友好。因为对于 tail class 的 class weights 的产生不受 head class 影响。另外，只根据一个样本生成 class weights 天然适合 tail class。

ZHAIXINGZHAIYUE commented 3 years ago

I'm waiting your code...

nemoramo commented 3 years ago

7月了。。。

ZHAIXINGZHAIYUE commented 3 years ago

7月了。。。

七月16了

ALitTLeQ commented 3 years ago

7/23

bilylee commented 3 years ago

谢谢大家的关注，已开源

ZHAIXINGZHAIYUE commented 3 years ago

虽然迟了些日子，但是代码质量还是不错的，谢谢作者开源。不过我很好奇，0.06的初始学习率，你是咋找到的？

bilylee commented 3 years ago

0.06的初始学习率，你是咋找到的？

在常用 lr = 0.1 的基础上微调搜索得到的

bilylee / DCQ