关于训练的问题

[kongbia]

首先感谢作者提供源码，是我目前看到关于base SiamFC框架写的最清晰的了 然后关于Res22FC训练有一些问题：

1. 如何确定pairs为60w，看到之前有issues里回复对于got10k 20w就可以了，那么只训练VID需要多少pairs就够呢；
2. 对于FC模型是否存在一个能够使其饱和的数据量，还是只要不断增加数据集的量效果就能不断提升；
3. 我用一张TITANV训练FC发现要大概4天时间，其中一个batch的数据读取要0.3s多，模型运行也要0.3s多，我没有使用ssd；
4. 关于多gpu学习率设置的问题，gpu数量改变batch也随之变化，此时的学习率应该如何调整，是直接进行等比的缩放吗 谢谢！

[JudasDie]

首先感谢作者提供源码，是我目前看到关于base SiamFC框架写的最清晰的了 然后关于Res22FC训练有一些问题：

1. 如何确定pairs为60w，看到之前有issues里回复对于got10k 20w就可以了，那么只训练VID需要多少pairs就够呢；
2. 对于FC模型是否存在一个能够使其饱和的数据量，还是只要不断增加数据集的量效果就能不断提升；
3. 我用一张TITANV训练FC发现要大概4天时间，其中一个batch的数据读取要0.3s多，模型运行也要0.3s多，我没有使用ssd；
4. 关于多gpu学习率设置的问题，gpu数量改变batch也随之变化，此时的学习率应该如何调整，是直接进行等比的缩放吗 谢谢！

感谢你的关注。

1. VID你可用60，但是时间比较长，所以建议GOT用20. 而且GOT的源数据size比VID小1/3.
2. 会饱和，这个跟你backbone、loss等等都有关。我一般做验证试验都会用GOT10k，20w一个epoch。
3. SSD对于Siamese训练非常重要，因为数据吞吐很大，如果时间都浪费在数据上很影响进度。一个500G固态大概几百块钱，还是要武装一下。我用2个1080大概也就1天不到。
4. 理论上batch越大学习率小点可能会更好，但是这个没有定论，还是自己做试验确定，我一般前期很少调学习率因为代价很大，只要收敛正常就好，差距不会很大。
5. 大部分跟踪数据库的处理好数据我都提供了，你可以都下载实验。

Thanks

[kongbia]

首先感谢作者提供源码，是我目前看到关于base SiamFC框架写的最清晰的了 然后关于Res22FC训练有一些问题：

1. 如何确定pairs为60w，看到之前有issues里回复对于got10k 20w就可以了，那么只训练VID需要多少pairs就够呢；
2. 对于FC模型是否存在一个能够使其饱和的数据量，还是只要不断增加数据集的量效果就能不断提升；
3. 我用一张TITANV训练FC发现要大概4天时间，其中一个batch的数据读取要0.3s多，模型运行也要0.3s多，我没有使用ssd；
4. 关于多gpu学习率设置的问题，gpu数量改变batch也随之变化，此时的学习率应该如何调整，是直接进行等比的缩放吗 谢谢！

感谢你的关注。

1. VID你可用60，但是时间比较长，所以建议GOT用20. 而且GOT的源数据size比VID小1/3.
2. 会饱和，这个跟你backbone、loss等等都有关。我一般做验证试验都会用GOT10k，20w一个epoch。
3. SSD对于Siamese训练非常重要，因为数据吞吐很大，如果时间都浪费在数据上很影响进度。一个500G固态大概几百块钱，还是要武装一下。我用2个1080大概也就1天不到。
4. 理论上batch越大学习率小点可能会更好，但是这个没有定论，还是自己做试验确定，我一般前期很少调学习率因为代价很大，只要收敛正常就好，差距不会很大。
5. 大部分跟踪数据库的处理好数据我都提供了，你可以都下载实验。

Thanks

感谢你的回复，我还有一个疑问 在数据增强时有shift参数，这一项是不是和siamrpn++中说的一样不仅仅是把目标放在搜索区域中心，但是提供的VID和got10k都被裁剪成255大小，按照aug_apply函数进行变换，255的crop_box好像无法在255的原图进行shift

[JudasDie]

首先感谢作者提供源码，是我目前看到关于base SiamFC框架写的最清晰的了 然后关于Res22FC训练有一些问题：

1. 如何确定pairs为60w，看到之前有issues里回复对于got10k 20w就可以了，那么只训练VID需要多少pairs就够呢；
2. 对于FC模型是否存在一个能够使其饱和的数据量，还是只要不断增加数据集的量效果就能不断提升；
3. 我用一张TITANV训练FC发现要大概4天时间，其中一个batch的数据读取要0.3s多，模型运行也要0.3s多，我没有使用ssd；
4. 关于多gpu学习率设置的问题，gpu数量改变batch也随之变化，此时的学习率应该如何调整，是直接进行等比的缩放吗 谢谢！

感谢你的关注。

1. VID你可用60，但是时间比较长，所以建议GOT用20. 而且GOT的源数据size比VID小1/3.
2. 会饱和，这个跟你backbone、loss等等都有关。我一般做验证试验都会用GOT10k，20w一个epoch。
3. SSD对于Siamese训练非常重要，因为数据吞吐很大，如果时间都浪费在数据上很影响进度。一个500G固态大概几百块钱，还是要武装一下。我用2个1080大概也就1天不到。
4. 理论上batch越大学习率小点可能会更好，但是这个没有定论，还是自己做试验确定，我一般前期很少调学习率因为代价很大，只要收敛正常就好，差距不会很大。
5. 大部分跟踪数据库的处理好数据我都提供了，你可以都下载实验。

Thanks

感谢你的回复，我还有一个疑问 在数据增强时有shift参数，这一项是不是和siamrpn++中说的一样不仅仅是把目标放在搜索区域中心，但是提供的VID和got10k都被裁剪成255大小，按照aug_apply函数进行变换，255的crop_box好像无法在255的原图进行shift

我没有用大的shift哈。另外我提供的是271和511，比255大，可以小范围shift做数据增强。backbone是解决感知不一致性的关键。

[wg7stream]

Does training have to use Youtube-BB datasets?

[JudasDie]

Does training have to use Youtube-BB datasets?

For RPN, yes. For FC, no (only got10k is enough).

[wg7stream]

Baidu cloud provides data only vid and got. Can you provide a way to get and process youtu-bb datasets 

------------------ 原始邮件 ------------------ 发件人: "ZP ZHANG"<notifications@github.com>; 发送时间: 2019年12月25日(星期三) 上午10:06 收件人: "researchmm/SiamDW"<SiamDW@noreply.github.com>; 抄送: "张成煜"<756532634@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [researchmm/SiamDW] 关于训练的问题 (#65)

Does training have to use Youtube-BB datasets?

For RPN, yes. For FC, no (only got10k is enough).

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

[JudasDie]

Baidu cloud provides data only vid and got. Can you provide a way to get and process youtu-bb datasets  … ------------------ 原始邮件 ------------------ 发件人: "ZP ZHANG"<notifications@github.com>; 发送时间: 2019年12月25日(星期三) 上午10:06 收件人: "researchmm/SiamDW"<SiamDW@noreply.github.com>; 抄送: "张成煜"<756532634@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [researchmm/SiamDW] 关于训练的问题 (#65) Does training have to use Youtube-BB datasets? For RPN, yes. For FC, no (only got10k is enough). — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

I have uploaded it to GoogleDrive. You may refer to train.md to access it.

[wg7stream]

Thank you very munch.

------------------ 原始邮件 ------------------ 发件人: "ZP ZHANG"<notifications@github.com>; 发送时间: 2019年12月25日(星期三) 上午10:19 收件人: "researchmm/SiamDW"<SiamDW@noreply.github.com>; 抄送: "张成煜"<756532634@qq.com>; "Comment"<comment@noreply.github.com>; 主题: Re: [researchmm/SiamDW] 关于训练的问题 (#65)

Baidu cloud provides data only vid and got. Can you provide a way to get and process youtu-bb datasets  … ------------------ 原始邮件 ------------------ 发件人: "ZP ZHANG"<notifications@github.com>; 发送时间: 2019年12月25日(星期三) 上午10:06 收件人: "researchmm/SiamDW"<SiamDW@noreply.github.com>; 抄送: "张成煜"<756532634@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [researchmm/SiamDW] 关于训练的问题 (#65) Does training have to use Youtube-BB datasets? For RPN, yes. For FC, no (only got10k is enough). — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

I have uploaded it to GoogleDrive. You may refer to train.md to access it.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

[JudasDie]

Thank you very munch. … ------------------ 原始邮件 ------------------ 发件人: "ZP ZHANG"<notifications@github.com>; 发送时间: 2019年12月25日(星期三) 上午10:19 收件人: "researchmm/SiamDW"<SiamDW@noreply.github.com>; 抄送: "张成煜"<756532634@qq.com>; "Comment"<comment@noreply.github.com>; 主题: Re: [researchmm/SiamDW] 关于训练的问题 (#65) Baidu cloud provides data only vid and got. Can you provide a way to get and process youtu-bb datasets  … ------------------ 原始邮件 ------------------ 发件人: "ZP ZHANG"<notifications@github.com>; 发送时间: 2019年12月25日(星期三) 上午10:06 收件人: "researchmm/SiamDW"<SiamDW@noreply.github.com>; 抄送: "张成煜"<756532634@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [researchmm/SiamDW] 关于训练的问题 (#65) Does training have to use Youtube-BB datasets? For RPN, yes. For FC, no (only got10k is enough). — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. I have uploaded it to GoogleDrive. You may refer to train.md to access it. — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

You are so welcome.