Z-Xiong / LightTrack-rknn

RKNN version demo of [CVPR21] LightTrack: Finding Lightweight Neural Network for Object Tracking via One-Shot Architecture Search
3 stars 0 forks source link

追踪丢失,感觉是无法追踪 #4

Open Jack0114-seg opened 1 day ago

Jack0114-seg commented 1 day ago

背景: 我直接clone代码后,将其放到rk3588上去跑,但是在链接库时报错(GLIBC),我重新拉下opencv与rknn的源码编译后将其重新放到原有项目。

问题: 在执行可执行文件后,追踪会一点点向左上角移动,如果不将参数的context_amount修改后,它会逐渐将整个图片描框(我的修改时改成0.1)

自我感觉可能是后处理那部分需要改一下,但是我用ncnn版本在虚拟机上跑是可以的。大佬你那边尝试过在3588上跑过吗,希望看到后可以回复一下,感谢 ![Uploading 微信图片_20241014113417.png…]()

Z-Xiong commented 1 day ago

我是两年前在1109上跑的,现在rknn的api更新的有点大。在3588上可能需要修改下输入的结构,后处理的话应该没啥问题。模型你可以先用float16对齐onnx后,然后再排查后处理问题。

Jack0114-seg commented 1 day ago

好的,模型我并没有量化,查询模型时fp16,但是我看你在设置net_neck_head的输入时那块的注释(这里必须为0,当为1时设置的fmt将不起作用,就会时默认的NHWC,注意rknn的输入都是NHWC格式,输出都是NCHW格式,所以这里的xf和zf都是NCHW格式),但是在net_backbone的输出(NCHW)到net_neck_head(NHWC)的输入着部分中间是没有处理的,我在想我是否需要用eigen这种库去将net_backbone的输出转成NHWC再去传给net_neck_head的输入

Z-Xiong commented 1 day ago

这个你自己定,用哪种方式转化维度都可以。我是直接用指针转的。

Jack0114-seg commented 1 day ago

ok,感谢大佬我转一下试试