NetVLAD

[majiayao-roborock]

原理

• 一个端到端CNN网络, K个 cluster centres(visual words) as VLAD parameters,
• output: V: K*Dmatrix,normalization后为一个vector
• loss:弱监督排序损失类似与triplet loss思想，用在google street数据集上

  整体描述desc三剑客

• BoW方法的核心思想是提取出关键点描述子后利用聚类的方法训练一个码本，随后每幅图片中各描述子向量在码本中各中心向量出现的次数来表示该图片，该方法的缺点是需要码本较大；
• FV方法的核心思想是利用高斯混合模型(GMM)，通过计算高斯混合模型中的均值、协方差等参数来表示每张图像。该方法的优点是准确度高，但缺点是计算、量较大。
• VLAD算法可以看做是一种简化的FV，其主要方法是通过聚类方法训练一个小的码本，对于每幅图像中的特征找到最近的码本聚类中心，随后所有特征与聚类中心的差值做累加，得到一个k*d的vlad矩阵，其中k是聚类中心个数，d是特征维数(如sift是128维),随后将该矩阵扩展为一个(k*d)维的向量，并对其L2归一化，所得到的向量即为VLAD。VLAD的优点在于比BoW使用更少的码本而比FV使用更少的计算量，是一个兼顾精度与效率的算法。
  • NetVLAD: 通过将VLAD的聚合残差统计函数微分化，创建了一个VLAD层，通过常用的CNN输出结果作为局部特征，最后利用谷歌街景数据训练完成了一个VGG+VLAD的模型，用以生成图像的描述子，两张图像的差值用以表达相似度。因为VGG模型对算力消耗很大，朋友建议训练一个resnet大模型，然后在用其蒸馏小模型。随后经金戈大王得知了MobileNetVLAD

    实现

    现有NetVLAD与MobileNetVLAD的模型测试资源，

• matlab: NetVLAD由（NetVLAD: CNN architecture for weakly supervised place recognition） 提出，其开放的源码作者NetVLAD 为matlab版本的代码，
• tensorflow: 随后VLAD层被先后使用PyTorch与TensorFlow复现，相对完整的代码是UZH复现的 UZH版本 ，完成了与作者代码的接口，经过作者代码训练的模型可以转成TensorFlow可使用的模型。测试结果如下tf版本：https://github.com/uzh-rpg/netvlad_tf_open
• 测试：

可以看到针对不同的相似度的图片结果可以表现相似程度，在随后的测试中，现有的依赖街景得到的模型，可以在我们常见的办公区，室外环境使用，阈值建议在0.9～1，当两张图片的结果差<阈值时，则可以认为来到了同一地点。NetVLAD输入是彩色图像，模型大小在1G左右，480×960 1050ti 运行时间在 0.67s。 MobileNetVLAD输入是灰色图像，模型大小在60M左右，480×960 1050ti 运行时间在 0.027s。

ref NetVLAD与MobileNetVLAD 极简的打开方式 https://zhuanlan.zhihu.com/p/76475388