您好！阅读了您的文章之后感觉非常好，但我有一个疑问希望您能解惑。文章中提到，车辆识别时把4个分支的特征concatenate起来，这样最后的特征维度会不会太大，以致极大影响特征比对速度？

[liu-xb]

抱歉刚刚才看到您的提问。这确实是一个很有价值的问题，在实际应用中会有海量的监控视频数据，得到的车辆的图像也会非常多，如果使用非常长的浮点特征的确会影响相似度计算的效率。我们暂时还是主要关注在提升性能方面，没有关注检索效率。这是因为： 一来大家在测评的时候暂时还不关注时间，更多关注的是准确性。 二来，当前的数据集都比较小，更长的特征在测试的时候其实没有相差太多，Matlab矩阵乘法而言基本都是几秒的样子。 第三是，长特征其实是有很大冗余的，进行简单的PCA降维，就可以在保持准确率基本不变的情况下将维度降低到八分之一左右。如果需要提升检索效率，可以在每个特征后面加一个全连接层降维后fine tune整个网络。如果需要进一步加速可以考虑使用一些hash方法。 希望能够回答您的问题。非常感谢您对我们工作的关注。如果有任何问题，欢迎随意联系我。

[LilySys]

您好，非常抱歉，因为我看邮件比较少，看github比较多，收到您的邮件非常激动，对于您给出的意见的收益匪浅。我有一个问题需要冒昧地问您一下，对于车辆前拍搜车辆后拍不知您这边是怎么解决的？

在 2018-10-26 21:18:29，"liu-xb" notifications@github.com 写道：

抱歉刚刚才看到您的提问。这确实是一个很有价值的问题，在实际应用中会有海量的监控视频数据，得到的车辆的图像也会非常多，如果使用非常长的浮点特征的确会影响相似度计算的效率。我们暂时还是主要关注在提升性能方面，没有关注检索效率。这是因为： 一来大家在测评的时候暂时还不关注时间，更多关注的是准确性。 二来，当前的数据集都比较小，更长的特征在测试的时候其实没有相差太多，Matlab矩阵乘法而言基本都是几秒的样子。 第三是，长特征其实是有很大冗余的，进行简单的PCA降维，就可以在保持准确率基本不变的情况下将维度降低到八分之一左右。如果需要提升检索效率，可以在每个特征后面加一个全连接层降维后fine tune整个网络。如果需要进一步加速可以考虑使用一些hash方法。 希望能够回答您的问题。非常感谢您对我们工作的关注。如果有任何问题，欢迎随意联系我。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[liu-xb]

因为数据集中没有车辆角度的标注，我们在训练的时候也没有单独针对前后角度的问题来设计方法。在训练的时候加入了颜色和车型信息，提取了这样粗粒度的特征参与检索。视角不同的时候，可以保证搜索到的同样车型的车在前。 VeRi 数据集中角度比较多，但是同一辆车的图像中角度变化不大（因为他是从视频序列中截取的）。 VehicleID数据集中虽然只有前后两个角度，但是前后两个角度之间没有overlap，很难判断是否是同一辆车。而且有较大频率出现同一辆车有前后两个角度的图像。在实验中观察到，当出现前拍搜后拍（或者后拍搜前拍）的时候，返回结果通常会是同样车型图像在前面。这样的结果也是有道理的，因为仅从背面（正面），是无法推断正面（背面）的信息，只能推断出颜色，车型这样的信息。有时候这也是可以得到正确的返回结果的，比如论文中 Fig. 4 中第一行第二个例子。在个别情况下，比如车顶有装饰或者架子等，前后图像中都可以获取这样的信息时，也是可以正确返回结果的。 最近有一些方法论文来解决视角变化的问题：

1. Orientation invariant feature embedding and spatial temporal regularization for vehicle re-identification.
2. Viewpoint-Aware Attentive Multi-View Inference for Vehicle Re-Identification.
3. Vehicle Re-Identification by Deep Hidden Multi-View Inference. 你可以参考一下。希望能够对你有帮助。 如果有任何问题，欢迎随时联系我。

[LilySys]

非常非常感谢您耐心的解答，我这里还有四个问题想要冒昧地问您，第一个是，您是如何解决分辨率低或者说模糊图像造成的重识别率降低的问题；第二个是，您是如何解决因检测框不准而造成的车身图像缺失从而导致重识别率降低的问题；第三个是，您是如何解决因检测框不准而造成车身图像中存在较大比重背景从而导致重识别率降低的问题；第四个是，您是如何解决车身被严重遮挡而导致重识别率降低的问题；

在 2018-11-23 17:08:52，"liu-xb" notifications@github.com 写道：

因为数据集中没有车辆角度的标注，我们在训练的时候也没有单独针对前后角度的问题来设计方法。在训练的时候加入了颜色和车型信息，提取了这样粗粒度的特征参与检索。视角不同的时候，可以保证搜索到的同样车型的车在前。 VeRi 数据集中角度比较多，但是同一辆车的图像中角度变化不大（因为他是从视频序列中截取的）。 VehicleID数据集中虽然只有前后两个角度，但是前后两个角度之间没有overlap，很难判断是否是同一辆车。而且有较大频率出现同一辆车有前后两个角度的图像。在实验中观察到，当出现前拍搜后拍（或者后拍搜前拍）的时候，返回结果通常会是同样车型图像在前面。这样的结果也是有道理的，因为仅从背面（正面），是无法推断正面（背面）的信息，只能推断出颜色，车型这样的信息。有时候这也是可以得到正确的返回结果的，比如论文中 Fig. 4 中第一行第二个例子。在个别情况下，比如车顶有装饰或者架子等，前后图像中都可以获取这样的信息时，也是可以正确返回结果的。 最近有一些方法论文来解决视角变化的问题：

Orientation invariant feature embedding and spatial temporal regularization for vehicle re-identification. Viewpoint-Aware Attentive Multi-View Inference for Vehicle Re-Identification. Vehicle Re-Identification by Deep Hidden Multi-View Inference. 你可以参考一下。希望能够对你有帮助。 如果有任何问题，欢迎随时联系我。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[liu-xb]

我们暂时没有针对性地考虑您提出的这些问题。

1. 低分辨率的问题。在行人重识别问题上有一些工作利用超分辨的方法来解决低分辨率的问题。你可以参考一下。
2. 对于检测框不准的问题。可以重新定位ROI。不过在数据集中大部分图像检测框是比较准确的。
3. 对于遮挡问题。关键在于遮挡的是否是关键位置。如果遮挡全部关键位置如车窗，车标等，类似于前拍后拍相互搜索，只能可靠返回相同颜色，车型的结果。

[LilySys]

非常非常感谢您的回信，希望我们以后可以在重识别方面进行多多交流。

在 2018-11-26 10:11:21，"liu-xb" notifications@github.com 写道：

我们暂时没有针对性地考虑您提出的这些问题。

低分辨率的问题。在行人重识别问题上有一些工作利用超分辨的方法来解决低分辨率的问题。你可以参考一下。 对于检测框不准的问题。可以重新定位ROI。不过在数据集中大部分图像检测框是比较准确的。 对于遮挡问题。关键在于遮挡的是否是关键位置。如果遮挡全部关键位置如车窗，车标等，类似于前拍后拍相互搜索，只能可靠返回相同颜色，车型的结果。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[liu-xb]

期待以后的交流合作。