Closed PeterSmith1 closed 2 years ago
positive666
commented
2 years ago ❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
我也在想办法，之前是要自己调一份超参，学习率降低，先用ADM去自适应训练，不过没训出来，后面的话准备先换个只有几层的结构看一下问题到底在哪里，你如果觉得有困难的话可以先作为一个注意力层训练，而且我这个V2版本还有些地方没优化 但是我觉得这和训练没关系
petter-Wang
commented
2 years ago ❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
你好 我想问下你是怎么训练的 我用ADM但是没法收敛
PeterSmith1
commented
2 years ago 你好，我想问一下，现在
❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
我也在想办法，之前是要自己调一份超参，学习率降低，先用ADM去自适应训练，不过没训出来，后面的话准备先换个只有几层的结构看一下问题到底在哪里，你如果觉得有困难的话可以先作为一个注意力层训练，而且我这个V2版本还有些地方没优化 但是我觉得这和训练没关系
您好，我想问一下，您对于这个比较难训练的问题，还有其它的解决方法吗？
positive666
commented
2 years ago 你好，我想问一下，现在
❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
我也在想办法，之前是要自己调一份超参，学习率降低，先用ADM去自适应训练，不过没训出来，后面的话准备先换个只有几层的结构看一下问题到底在哪里，你如果觉得有困难的话可以先作为一个注意力层训练，而且我这个V2版本还有些地方没优化 但是我觉得这和训练没关系
您好，我想问一下，您对于这个比较难训练的问题，还有其它的解决方法吗？
可以说下数据集和训练的结果嘛？ 最近尝试作为某几个插入层训练是OK的，看来难度还是在于整个堆叠到一定程度的Swin Block Backbone中，如果你和我遇到相同的的问题，那么是来自于梯度消失了，可已经按照V2.0的改进了..你可以先拆掉一部分只训练某些层 有新的想法会回复你 最近也想好好复习下理论了 可以参考下
PeterSmith1
commented
2 years ago 你好，我想问一下，现在
❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
我也在想办法，之前是要自己调一份超参，学习率降低，先用ADM去自适应训练，不过没训出来，后面的话准备先换个只有几层的结构看一下问题到底在哪里，你如果觉得有困难的话可以先作为一个注意力层训练，而且我这个V2版本还有些地方没优化 但是我觉得这和训练没关系
您好，我想问一下，您对于这个比较难训练的问题，还有其它的解决方法吗？
可以说下数据集和训练的结果嘛？ 最近尝试作为某几个插入层训练是OK的，看来难度还是在于整个堆叠到一定程度的Swin Block Backbone中，如果你和我遇到相同的的问题，那么是来自于梯度消失了，可已经按照V2.0的改进了..你可以先拆掉一部分只训练某些层 有新的想法会回复你 最近也想好好复习下理论了 可以参考下
我还是拿着您改了整个backbone的V2跑的coco，目前的实验结果是精度非常低的。
PeterSmith1
commented
2 years ago 你好，我想问一下，现在
❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
我也在想办法，之前是要自己调一份超参，学习率降低，先用ADM去自适应训练，不过没训出来，后面的话准备先换个只有几层的结构看一下问题到底在哪里，你如果觉得有困难的话可以先作为一个注意力层训练，而且我这个V2版本还有些地方没优化 但是我觉得这和训练没关系
您好，我想问一下，您对于这个比较难训练的问题，还有其它的解决方法吗？
可以说下数据集和训练的结果嘛？ 最近尝试作为某几个插入层训练是OK的，看来难度还是在于整个堆叠到一定程度的Swin Block Backbone中，如果你和我遇到相同的的问题，那么是来自于梯度消失了，可已经按照V2.0的改进了..你可以先拆掉一部分只训练某些层 有新的想法会回复你 最近也想好好复习下理论了 可以参考下
不知道您作为几个插入层在coco上的结果怎么样
positive666
commented
2 years ago 你好，我想问一下，现在
❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
我也在想办法，之前是要自己调一份超参，学习率降低，先用ADM去自适应训练，不过没训出来，后面的话准备先换个只有几层的结构看一下问题到底在哪里，你如果觉得有困难的话可以先作为一个注意力层训练，而且我这个V2版本还有些地方没优化 但是我觉得这和训练没关系
您好，我想问一下，您对于这个比较难训练的问题，还有其它的解决方法吗？
可以说下数据集和训练的结果嘛？ 最近尝试作为某几个插入层训练是OK的，看来难度还是在于整个堆叠到一定程度的Swin Block Backbone中，如果你和我遇到相同的的问题，那么是来自于梯度消失了，可已经按照V2.0的改进了..你可以先拆掉一部分只训练某些层 有新的想法会回复你 最近也想好好复习下理论了 可以参考下
不知道您作为几个插入层在coco上的结果怎么样
低的原因排除低级错误前提下，可能需要1个SWIN的预训练权重 ，插入的方式取决于你的搭建，最容易训练的是放在底层 部分和特征融合后的输出层，（这种操作搞了1年了，已经抑郁了）下一步的SWIN优化是降低显存占用吧，在此前我需要学习和思考下到底训练问题出在哪里或许官方没开源也是有相关原因的. 如果你有WORK的效果欢迎分享，还有就是你可以用拿SWIN的权重，我找出问题，会上传的
PeterSmith1
commented
2 years ago 你好，我想问一下，现在
❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
我也在想办法，之前是要自己调一份超参，学习率降低，先用ADM去自适应训练，不过没训出来，后面的话准备先换个只有几层的结构看一下问题到底在哪里，你如果觉得有困难的话可以先作为一个注意力层训练，而且我这个V2版本还有些地方没优化 但是我觉得这和训练没关系
您好，我想问一下，您对于这个比较难训练的问题，还有其它的解决方法吗？
可以说下数据集和训练的结果嘛？ 最近尝试作为某几个插入层训练是OK的，看来难度还是在于整个堆叠到一定程度的Swin Block Backbone中，如果你和我遇到相同的的问题，那么是来自于梯度消失了，可已经按照V2.0的改进了..你可以先拆掉一部分只训练某些层 有新的想法会回复你 最近也想好好复习下理论了 可以参考下
不知道您作为几个插入层在coco上的结果怎么样
低的原因排除低级错误前提下，可能需要1个SWIN的预训练权重 ，插入的方式取决于你的搭建，最容易训练的是放在底层 部分和特征融合后的输出层，（这种操作搞了1年了，已经抑郁了）下一步的SWIN优化是降低显存占用吧，在此前我需要学习和思考下到底训练问题出在哪里或许官方没开源也是有相关原因的. 如果你有WORK的效果欢迎分享，还有就是你可以用拿SWIN的权重，我找出问题，会上传的
我刚刚拿了您提供的参考SWIN v2的那个人SWIN权重，我直接上去使用，直接报错。
PeterSmith1
commented
2 years ago 你好，我想问一下，现在
❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
我也在想办法，之前是要自己调一份超参，学习率降低，先用ADM去自适应训练，不过没训出来，后面的话准备先换个只有几层的结构看一下问题到底在哪里，你如果觉得有困难的话可以先作为一个注意力层训练，而且我这个V2版本还有些地方没优化 但是我觉得这和训练没关系
您好，我想问一下，您对于这个比较难训练的问题，还有其它的解决方法吗？
可以说下数据集和训练的结果嘛？ 最近尝试作为某几个插入层训练是OK的，看来难度还是在于整个堆叠到一定程度的Swin Block Backbone中，如果你和我遇到相同的的问题，那么是来自于梯度消失了，可已经按照V2.0的改进了..你可以先拆掉一部分只训练某些层 有新的想法会回复你 最近也想好好复习下理论了 可以参考下
不知道您作为几个插入层在coco上的结果怎么样
低的原因排除低级错误前提下，可能需要1个SWIN的预训练权重 ，插入的方式取决于你的搭建，最容易训练的是放在底层 部分和特征融合后的输出层，（这种操作搞了1年了，已经抑郁了）下一步的SWIN优化是降低显存占用吧，在此前我需要学习和思考下到底训练问题出在哪里或许官方没开源也是有相关原因的. 如果你有WORK的效果欢迎分享，还有就是你可以用拿SWIN的权重，我找出问题，会上传的
您要是有时间，能不能更新一个类似v5官方的类似C3TR这种的yaml？
positive666
commented
2 years ago 你好，我想问一下，现在
❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
我也在想办法，之前是要自己调一份超参，学习率降低，先用ADM去自适应训练，不过没训出来，后面的话准备先换个只有几层的结构看一下问题到底在哪里，你如果觉得有困难的话可以先作为一个注意力层训练，而且我这个V2版本还有些地方没优化 但是我觉得这和训练没关系
您好，我想问一下，您对于这个比较难训练的问题，还有其它的解决方法吗？
可以说下数据集和训练的结果嘛？ 最近尝试作为某几个插入层训练是OK的，看来难度还是在于整个堆叠到一定程度的Swin Block Backbone中，如果你和我遇到相同的的问题，那么是来自于梯度消失了，可已经按照V2.0的改进了..你可以先拆掉一部分只训练某些层 有新的想法会回复你 最近也想好好复习下理论了 可以参考下
不知道您作为几个插入层在coco上的结果怎么样
低的原因排除低级错误前提下，可能需要1个SWIN的预训练权重 ，插入的方式取决于你的搭建，最容易训练的是放在底层 部分和特征融合后的输出层，（这种操作搞了1年了，已经抑郁了）下一步的SWIN优化是降低显存占用吧，在此前我需要学习和思考下到底训练问题出在哪里或许官方没开源也是有相关原因的. 如果你有WORK的效果欢迎分享，还有就是你可以用拿SWIN的权重，我找出问题，会上传的
您要是有时间，能不能更新一个类似v5官方的类似C3TR这种的yaml？
感谢建议 后面会更新的 现在有太多实验和任务要做 感觉分身乏术~毕竟我就2个GPU 最近业余时间在复盘一下之前的几个注意力插件的效果 顺便研究下 SWINtransformerV2的问题 我会单独总结下 顺手写点经验 就在这两天
PeterSmith1
commented
2 years ago 你好，我想问一下，现在
❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决
我也在想办法，之前是要自己调一份超参，学习率降低，先用ADM去自适应训练，不过没训出来，后面的话准备先换个只有几层的结构看一下问题到底在哪里，你如果觉得有困难的话可以先作为一个注意力层训练，而且我这个V2版本还有些地方没优化 但是我觉得这和训练没关系
您好，我想问一下，您对于这个比较难训练的问题，还有其它的解决方法吗？
可以说下数据集和训练的结果嘛？ 最近尝试作为某几个插入层训练是OK的，看来难度还是在于整个堆叠到一定程度的Swin Block Backbone中，如果你和我遇到相同的的问题，那么是来自于梯度消失了，可已经按照V2.0的改进了..你可以先拆掉一部分只训练某些层 有新的想法会回复你 最近也想好好复习下理论了 可以参考下
不知道您作为几个插入层在coco上的结果怎么样
低的原因排除低级错误前提下，可能需要1个SWIN的预训练权重 ，插入的方式取决于你的搭建，最容易训练的是放在底层 部分和特征融合后的输出层，（这种操作搞了1年了，已经抑郁了）下一步的SWIN优化是降低显存占用吧，在此前我需要学习和思考下到底训练问题出在哪里或许官方没开源也是有相关原因的. 如果你有WORK的效果欢迎分享，还有就是你可以用拿SWIN的权重，我找出问题，会上传的
您要是有时间，能不能更新一个类似v5官方的类似C3TR这种的yaml？
感谢建议 后面会更新的 现在有太多实验和任务要做 感觉分身乏术~毕竟我就2个GPU 最近业余时间在复盘一下之前的几个注意力插件的效果 顺便研究下 SWINtransformerV2的问题 我会单独总结下 顺手写点经验
github-actions[bot]
commented
2 years ago This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.
❔Question
Additional context
我想问一下用您的V2版本的yaml去做训练，发现模型比较难训练，这种的话怎么去解决