Closed chenbofeng123 closed 3 years ago
你好,谢谢对我们对项目感兴趣。针对你提出对问题:
希望可以帮到你! 祝好
感谢!!!!!!!!!学长太优秀了~回答非常详细。 关于您的动机,您相当于是固定了 一个神经网络A(作为非线性变换),关于您的pair损失,我的理解让另一个网络去 学习 着拟合这个A。 那么能否我不固定A这个网络,让A也是一个可以学习的神经网络呢?
不客气! =) 你理解的没错。
但关于 不固定A这个网络,应该不太能,一是神经网络不太能拟合一个 moving target,可能效果就不会好;二是这个 intuition 解释是啥 你也可以做实验看看
感谢!!!!给大佬点赞~
不客气 =)
学长您好,非常感谢您能公开如此好的文章! 我有几个小问题想请教您: 一是当数据分布假设不准确时,数据结构也存在误差,如何能够通过神经网络纠正这个不一致距离信息呢? 二是文中的the original space是指原始数据的D维空间,还是随机映射的K维空间呢?我理解的是K维空间,不知是否正确? 三是用一个网络中的全连接层的特征对距离去拟合另外一个网络相同维数的全连接层的特征对距离,请问这样做的目的或者动机是什么,这个我不太能理解? 希望学长能够在闲暇时给予解惑,十分感谢!!
学长您好,非常感谢您能公开如此好的文章! 我有几个小问题想请教您: 一是当数据分布假设不准确时,数据结构也存在误差,如何能够通过神经网络纠正这个不一致距离信息呢? 二是文中的the original space是指原始数据的D维空间,还是随机映射的K维空间呢?我理解的是K维空间,不知是否正确? 三是用一个网络中的全连接层的特征对距离去拟合另外一个网络相同维数的全连接层的特征对距离,请问这样做的目的或者动机是什么,这个我不太能理解? 希望学长能够在闲暇时给予解惑,十分感谢!!
你好,谢谢你的提问。😊
关于问题一从实验得出,会有一定改善。同时也可以吧问题三也一并说了,动机是经过多次迭代神经网络将会在那些data分布比较密集区域进行较好拟合,而对分布不是特别密集的区域拟合相对较差。这样特征对距离就能一定程度表征 data 的 structure 信息。类似结构在后来出来的自监督学习框架 byol 上也使用了。问题二,original space 指的是原空间维数 D 维。希望能解答你的问题
学长您好,非常感谢您能公开如此好的文章! 我有几个小问题想请教您: 一是当数据分布假设不准确时,数据结构也存在误差,如何能够通过神经网络纠正这个不一致距离信息呢? 二是文中的the original space是指原始数据的D维空间,还是随机映射的K维空间呢?我理解的是K维空间,不知是否正确? 三是用一个网络中的全连接层的特征对距离去拟合另外一个网络相同维数的全连接层的特征对距离,请问这样做的目的或者动机是什么,这个我不太能理解? 希望学长能够在闲暇时给予解惑,十分感谢!!
你好,谢谢你的提问。😊
关于问题一从实验得出,会有一定改善。同时也可以吧问题三也一并说了,动机是经过多次迭代神经网络将会在那些data分布比较密集区域进行较好拟合,而对分布不是特别密集的区域拟合相对较差。这样特征对距离就能一定程度表征 data 的 structure 信息。类似结构在后来出来的自监督学习框架 byol 上也使用了。问题二,original space 指的是原空间维数 D 维。希望能解答你的问题
好的,非常感谢学长的解答,受益匪浅,祝愿学长在以后的科研生涯中节节攀升!
学长您好,非常感谢您能公开如此好的文章! 我有几个小问题想请教您: 一是当数据分布假设不准确时,数据结构也存在误差,如何能够通过神经网络纠正这个不一致距离信息呢? 二是文中的the original space是指原始数据的D维空间,还是随机映射的K维空间呢?我理解的是K维空间,不知是否正确? 三是用一个网络中的全连接层的特征对距离去拟合另外一个网络相同维数的全连接层的特征对距离,请问这样做的目的或者动机是什么,这个我不太能理解? 希望学长能够在闲暇时给予解惑,十分感谢!!
你好,谢谢你的提问。😊 关于问题一从实验得出,会有一定改善。同时也可以吧问题三也一并说了,动机是经过多次迭代神经网络将会在那些data分布比较密集区域进行较好拟合,而对分布不是特别密集的区域拟合相对较差。这样特征对距离就能一定程度表征 data 的 structure 信息。类似结构在后来出来的自监督学习框架 byol 上也使用了。问题二,original space 指的是原空间维数 D 维。希望能解答你的问题
好的,非常感谢学长的解答,受益匪浅,祝愿学长在以后的科研生涯中节节攀升!
谢谢,你也是😃
学长您好,您的论文非常的有趣,非常感谢您分享的代码,代码非常的详细。 关于论文和代码还有一点细节想请教您: 1.在论文中是 计算任意数据间组合的随机距离,在代码里看起来是 选取一个batch,在batch里做了一次随机采样,然后计算这两次样本的距离。请问这样做有什么动机吗? 这种选取方式虽然降低了算法的运行时间,但是相比于论文里的想法 少算了很多节点对。 2.您在测试阶段设置了3种测试方法,testing_methods_set = ['last_layer', 'first_layer', 'level'],请问这些方法在您的实验中做过比较麽?