search

Z-Xiong / LightTrack

MIT License
4 stars 0 forks source link

您好，又来请教您了，关于lighttrack的特征融合（correlation）部分，您是怎么理解的 #3

Open Coder-TieHH opened 1 year ago

Coder-TieHH commented 1 year ago

我看原论文中没有对这块进行分析啊，还是说是之前某个孪生追踪网络使用过的，请您不吝赐教。 此外我之前也请教过您关于nanotrack的东西，首先非常感谢您的回复，也想问问您对nanotrack融合部分的理解。(附带我的onnx模型 [Uploading 新建文件夹.zip…]() ) （上面的图是nanotrack，下面是lighttrack） image image

Z-Xiong commented 1 year ago

特征融合或特征交互，目前常用的有： SiamRPN++和Ocean用的Depth-Wise Cross Correlation ATOM和DIMP用的Feature Modulation TransT和TrDIMP用的Transformer 综合性能最好的是Transformer，但速度和部署都有问题；Correlation速度快，部署也能解决。因此nanotrack和LightTrack一样，也选择了Correlation。就是有点类似模式识别里面的滑窗卷积，为了找到最相似的某一块地方，或者说是模板匹配。 可以参考这篇知乎：https://zhuanlan.zhihu.com/p/419900331

Coder-TieHH commented 1 year ago

好的好的，非常感谢您的指引

Coder-TieHH commented 1 year ago

您好，又来打扰您了，请问您在跑nanotrack的时候，那位博主的test.py或者eval.py文件您能运行嘛，我总是有这个错误，调试的过程看的不是很懂哪里出错了，希望得到您的指点，感谢！ image

Coder-TieHH commented 1 year ago

image

Z-Xiong commented 1 year ago

你单步调试下看看为什么有nan

Coder-TieHH commented 1 year ago

您好，感谢您的建议，我昨晚调试后发现了问题，再请教您一个问题，就是nanotrack这里为什么需要对原图片进行裁剪之后再进入训练，这里的271以及511是什么意思，刚入门vot这块，麻烦您了，我在看siamfc的代码的时候好像都是直接把数据集放进去训练的。 image image

Z-Xiong commented 1 year ago

这是数据预处理不同导致的，他们使用了不同的训练框架。271和511是对图像目标边界扩充后的大小。271应该是template size，511是search size。simfc里面训练时候也做了这样的边界扩展，只是没有把图像裁剪保存。

Z-Xiong commented 1 year ago

你可以看看nanotrack使用的原始训练框架，里面的流程很清楚。https://github.com/STVIR/pysot 。 另外学习单目标跟踪我不建议从nanotrack开始，建议从pysot或者pytracking这种比较成熟的训练框架入手。

Coder-TieHH commented 1 year ago

好的好的，非常感谢，因为之前尝试去部署nanotrack的想从lighttrack作为baseline，但是苦于没有train的部分，所以直接就看了nanotrack，非常感谢您的指引

Coder-TieHH commented 1 year ago

您好，又来打扰您了，首先感谢您的指引，我最近在看pysot，发现确实nanotrack就是按照pysot的框架写的，我在train pysort的SiamRPN++的时候，发现pysot裁剪的都是511大小的，还是上次那个问题，就是这里的271以及511，是对边界的扩展，但是为什么有两个值？这里的271以及511究竟用哪个裁剪过的大小进入训练。现在很疑惑，我看推理的过程都是将第一帧的boundingbox裁剪后，resize到127或者255，那么在训练的过程中，到底是哪个尺寸进入训练，希望得到您的解答，非常感谢 image

Z-Xiong commented 1 year ago

你先理解template size和search size。目标跟踪是有两个输入图片的。跟目标检测不一样。

Coder-TieHH commented 1 year ago

对，train的时候是输入两个图片，我看运行par_crop.py裁剪之后，得到的是一帧的两个图片，一个template，一个serach，我就是搞不清楚的是为啥这里par_crop给的参数是511，不应该输入的是两张图片嘛（1个127，1个255） image

Coder-TieHH commented 1 year ago

您好，又来打扰您了，非常感谢您之前的帮助，以及您的热心，请问您有没有尝试取去复现nanotrack，我在训练的时候，准备了数据集，但是不知道VIDEOS_PER_EPOCH这个参数应该设置为多少，看了pysort官方四个数据集VID+DET+YT-BB+COCO设置的是600000，但是我在设置为600000发现不论是单独加载got还是6个数据集都放进去，训练的效果是没有改变的，eao只有0.260左右，希望能够得到您的解答，非常感谢您🙏 image

Coder-TieHH commented 1 year ago

您好，我在尝试复现训练那位博主的nanotrack V3的结果的时候，加载了6个数据集，但是我的最终在vot2018上最多只能复现到eao 0.355左右，看博主之前的回答其他的说法，我初次训练只能到0.28左右，又加载最好的权重再次微调lr最后只能到0.355上不去了，最后的total_loss到0.12左右就下不去了，请问您有尝试过训练嘛，请您不吝赐教

从 Windows 版邮件发送

发件人: Toy 发送时间: 2023年7月31日 16:24 收件人: Z-Xiong/LightTrack 抄送: Coder-TieHH; Author 主题: Re: [Z-Xiong/LightTrack]=?UTF-8?Q?=E6=82=A8=E5=A5=BD=EF=BC=8C=E5=8F=88=E6=9D=A5=E8=AF=B7=E6=95=99=E6=82=A8=E4=BA=86=EF=BC=8C=E5=85=B3=E4=BA=8Elighttrack=E7=9A=84=E7=89=B9=E5=BE=81=E8=9E=8D=E5=90=88=EF=BC=88correlation=EF=BC=89=E9=83=A8=E5=88=86=EF=BC=8C=E6=82=A8=E6=98=AF=E6=80=8E=E4=B9=88=E7=90=86=E8=A7=A3=E7=9A=84?==?UTF-8?Q?=28Issue_#3=29?=

你先理解template size和search size。目标跟踪是有两个输入图片的。跟目标检测不一样。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Z-Xiong commented 1 year ago

我没有训练过nanotrack 喔。

Coder-TieHH commented 1 year ago

我没有训练过nanotrack 喔。

好的好的，非常感谢，我想做无人机的小目标跟踪，您有推荐的baseline吗，孩子毕不了业了/(ㄒoㄒ)/~~

Z-Xiong commented 1 year ago

我没有训练过nanotrack 喔。

好的好的，非常感谢，我想做无人机的小目标跟踪，您有推荐的baseline吗，孩子毕不了业了/(ㄒoㄒ)/~~

加微信x545690660