billhhh / RDP

Codes for IJCAI2020 paper "Unsupervised Representation Learning by Predicting Random Distances” https://arxiv.org/abs/1912.12186
28 stars 8 forks source link

a little question about your details。 #1

Closed chenbofeng123 closed 3 years ago

chenbofeng123 commented 4 years ago

学长您好,您的论文非常的有趣,非常感谢您分享的代码,代码非常的详细。 关于论文和代码还有一点细节想请教您: 1.在论文中是 计算任意数据间组合的随机距离,在代码里看起来是 选取一个batch,在batch里做了一次随机采样,然后计算这两次样本的距离。请问这样做有什么动机吗? 这种选取方式虽然降低了算法的运行时间,但是相比于论文里的想法 少算了很多节点对。 2.您在测试阶段设置了3种测试方法,testing_methods_set = ['last_layer', 'first_layer', 'level'],请问这些方法在您的实验中做过比较麽?

  1. 这种随机距离学习 表示的动机感觉 个人有点难以理解,您在文章中提到的 线性变换和非线性变换,对实验结果有影响吗?(个人觉得都行?) 如果把随机映射 也换成一个神经网络是不是也可以呢? 期待您有空的时候指点~ 谢谢!
billhhh commented 4 years ago

你好,谢谢对我们对项目感兴趣。针对你提出对问题:

  1. 是的,在代码中是在 batch 中进行 pair-wise 的操作。因为如果每次要计算所有 pair 的距离,特别是数据点特别多的时候,是不够现实的。所以我们用了类似 SGD 的思路,在 batch 中进行操作,保留一定随机性,但是总的来说考虑到了整个数据分布。
  2. 在 test 的时候,我提供了3种测试方法,'last_layer' --- 用最后一层的叶子节点 score 作为 AD 分数,'first_layer' --- 用第一层的 root 节点 score 作为 AD 分数, ‘level' --- 用层数作为 AD 分数。我们做过实验进行比较,但是结果相对其他结果比较 trivial,就没有放到论文,实测是 last_layer 方法比较好。
  3. 我们方法的 intuition 就是数据比较集中的数据点 pair 会拟合的比较好,数据比较稀疏的 anomaly 点会拟合的不那么好,从而可以找出 anomaly 点。文章中提到的线性变换和非线性变换,都可以,我们做了实验比较,分别是 SRP 和 RDP,最终的 RDP model 就是采用的 random init 的神经网络。=)

希望可以帮到你! 祝好

chenbofeng123 commented 4 years ago

感谢!!!!!!!!!学长太优秀了~回答非常详细。 关于您的动机,您相当于是固定了 一个神经网络A(作为非线性变换),关于您的pair损失,我的理解让另一个网络去 学习 着拟合这个A。 那么能否我不固定A这个网络,让A也是一个可以学习的神经网络呢?

billhhh commented 4 years ago

不客气! =) 你理解的没错。

但关于 不固定A这个网络,应该不太能,一是神经网络不太能拟合一个 moving target,可能效果就不会好;二是这个 intuition 解释是啥 你也可以做实验看看

chenbofeng123 commented 4 years ago

感谢!!!!给大佬点赞~

billhhh commented 4 years ago

不客气 =)

datar001 commented 3 years ago

学长您好,非常感谢您能公开如此好的文章! 我有几个小问题想请教您: 一是当数据分布假设不准确时,数据结构也存在误差,如何能够通过神经网络纠正这个不一致距离信息呢? 二是文中的the original space是指原始数据的D维空间,还是随机映射的K维空间呢?我理解的是K维空间,不知是否正确? 三是用一个网络中的全连接层的特征对距离去拟合另外一个网络相同维数的全连接层的特征对距离,请问这样做的目的或者动机是什么,这个我不太能理解? 希望学长能够在闲暇时给予解惑,十分感谢!!

billhhh commented 3 years ago

学长您好,非常感谢您能公开如此好的文章! 我有几个小问题想请教您: 一是当数据分布假设不准确时,数据结构也存在误差,如何能够通过神经网络纠正这个不一致距离信息呢? 二是文中的the original space是指原始数据的D维空间,还是随机映射的K维空间呢?我理解的是K维空间,不知是否正确? 三是用一个网络中的全连接层的特征对距离去拟合另外一个网络相同维数的全连接层的特征对距离,请问这样做的目的或者动机是什么,这个我不太能理解? 希望学长能够在闲暇时给予解惑,十分感谢!!

你好,谢谢你的提问。😊

关于问题一从实验得出,会有一定改善。同时也可以吧问题三也一并说了,动机是经过多次迭代神经网络将会在那些data分布比较密集区域进行较好拟合,而对分布不是特别密集的区域拟合相对较差。这样特征对距离就能一定程度表征 data 的 structure 信息。类似结构在后来出来的自监督学习框架 byol 上也使用了。问题二,original space 指的是原空间维数 D 维。希望能解答你的问题

datar001 commented 3 years ago

学长您好,非常感谢您能公开如此好的文章! 我有几个小问题想请教您: 一是当数据分布假设不准确时,数据结构也存在误差,如何能够通过神经网络纠正这个不一致距离信息呢? 二是文中的the original space是指原始数据的D维空间,还是随机映射的K维空间呢?我理解的是K维空间,不知是否正确? 三是用一个网络中的全连接层的特征对距离去拟合另外一个网络相同维数的全连接层的特征对距离,请问这样做的目的或者动机是什么,这个我不太能理解? 希望学长能够在闲暇时给予解惑,十分感谢!!

你好,谢谢你的提问。😊

关于问题一从实验得出,会有一定改善。同时也可以吧问题三也一并说了,动机是经过多次迭代神经网络将会在那些data分布比较密集区域进行较好拟合,而对分布不是特别密集的区域拟合相对较差。这样特征对距离就能一定程度表征 data 的 structure 信息。类似结构在后来出来的自监督学习框架 byol 上也使用了。问题二,original space 指的是原空间维数 D 维。希望能解答你的问题

好的,非常感谢学长的解答,受益匪浅,祝愿学长在以后的科研生涯中节节攀升!

billhhh commented 3 years ago

学长您好,非常感谢您能公开如此好的文章! 我有几个小问题想请教您: 一是当数据分布假设不准确时,数据结构也存在误差,如何能够通过神经网络纠正这个不一致距离信息呢? 二是文中的the original space是指原始数据的D维空间,还是随机映射的K维空间呢?我理解的是K维空间,不知是否正确? 三是用一个网络中的全连接层的特征对距离去拟合另外一个网络相同维数的全连接层的特征对距离,请问这样做的目的或者动机是什么,这个我不太能理解? 希望学长能够在闲暇时给予解惑,十分感谢!!

你好,谢谢你的提问。😊 关于问题一从实验得出,会有一定改善。同时也可以吧问题三也一并说了,动机是经过多次迭代神经网络将会在那些data分布比较密集区域进行较好拟合,而对分布不是特别密集的区域拟合相对较差。这样特征对距离就能一定程度表征 data 的 structure 信息。类似结构在后来出来的自监督学习框架 byol 上也使用了。问题二,original space 指的是原空间维数 D 维。希望能解答你的问题

好的,非常感谢学长的解答,受益匪浅,祝愿学长在以后的科研生涯中节节攀升!

谢谢,你也是😃