search

xiaobaishu0097 / ICLR_VTNet

32 stars 10 forks source link

可以提供一下文章中已经训练好的模型吗？ #2

Open colinzhaoxp opened 1 year ago

colinzhaoxp commented 1 year ago

你好，非常感谢您能分享代码，但是我们在训练结果性能较低，请问可以提供一下您训练好的模型吗？想做进一步的测试，非常感谢。

colinzhaoxp commented 1 year ago

这是我们的复现结果，性能非常低。代码参数基本没有改动。 { "GreaterThan/1/spl": 0.027155465037338764, "GreaterThan/1/success": 0.08859470468431772, "GreaterThan/5/spl": 0.0012588116817724068, "GreaterThan/5/success": 0.0015105740181268882, "done_count": 1.0, "ep_length": 6.0, "spl": 0.02666666666666667, "success": 0.09, "total_reward": 0.39089999999999747, "total_time": 0.33500297951698305 } 同时，我在训练的时候发现了如下一行代码： os.environ["OMP_NUM_THREADS"] = "1" 这行代码好像在预训练、训练和测试文件中都存在，我在训练的时候注释掉了本行代码，请问是因为这个问题吗？

非常期待您的回复！

colinzhaoxp commented 1 year ago

os.environ["OMP_NUM_THREADS"] = "1" 请问作者，这行代码对于模型的最终性能有影响吗？

xiaobaishu0097 commented 1 year ago

你好，这段代码应该对于最终的模型性能没有影响。你的结果显示网络并没有收敛，可能你需要检查一下你的运行环境。

Best wishes, Heming Du

From: colinzhaoxp @.> Date: Monday, 28 November 2022 at 13:21 To: xiaobaishu0097/ICLR_VTNet @.> Cc: Subscribed @.***> Subject: Re: [xiaobaishu0097/ICLR_VTNet] 可以提供一下文章中已经训练好的模型吗？ (Issue #2)

os.environ["OMP_NUM_THREADS"] = "1" 请问作者，这行代码对于模型的最终性能有影响吗？

― Reply to this email directly, view it on GitHubhttps://github.com/xiaobaishu0097/ICLR_VTNet/issues/2#issuecomment-1328443692, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AH5WWFGFZOSRO5WYYHXRQCLWKQJMFANCNFSM6AAAAAARGUYK4U. You are receiving this because you are subscribed to this thread.Message ID: @.***>

colinzhaoxp commented 1 year ago

非常感谢您的回复！！！

我在论文中注意到预训练对于VTNet来说，非常重要，因此我想是不是预训练的问题呢？ 我的预训练模型的精度，在训练集合上表现在66左右，验证集表现6大多都保持在66左右，而测试集上的精度保持在60多点，且这些精度从epoch=0开始到最后，变化幅度都不大。请问您的训练过程也是这样吗？

附上我的预训练日志和训练日志，十分期待您的回复：） 预训练日志：pretrain.txt 训练输出：train.txt 训练输出的tensorboard文件，由于github无法上传文件，我放到了其他平台上：https://drive.google.com/file/d/1KapOsv-H5QyODzpMYzYGSQ6_plUxexdS/view?usp=share_link

xiaobaishu0097 commented 1 year ago

你好，

可以尝试讲VTNet的encoder和decoder分别改为2层而不是6层进行训练。

Best wishes, Heming Du

From: colinzhaoxp @.> Date: Monday, 28 November 2022 at 15:44 To: xiaobaishu0097/ICLR_VTNet @.> Cc: Heming Du @.>, Comment @.> Subject: Re: [xiaobaishu0097/ICLR_VTNet] 可以提供一下文章中已经训练好的模型吗？ (Issue #2)

非常感谢您的回复！！！

我在论文中注意到预训练对于VTNet来说，非常重要，因此我想是不是预训练的问题呢？ 我的预训练模型的精度，在训练集合上表现在66左右，验证集表现6大多都保持在66左右，而测试集上的精度保持在60多点，且这些精度从epoch=0开始到最后，变化幅度都不大。请问您的训练过程也是这样吗？

附上我的预训练日志和训练日志，十分期待您的回复：） 预训练日志：pretrain.txthttps://github.com/xiaobaishu0097/ICLR_VTNet/files/10100521/pretrain.txt 训练输出：train.txthttps://github.com/xiaobaishu0097/ICLR_VTNet/files/10100524/train.txt 训练输出的tensorboard文件，由于github无法上传文件，我放到了其他平台上：https://cowtransfer.com/s/aa7877224a8448 提取码：7owais

― Reply to this email directly, view it on GitHubhttps://github.com/xiaobaishu0097/ICLR_VTNet/issues/2#issuecomment-1328531609, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AH5WWFGPFBMDZDLWH3XWWLDWKQ2BBANCNFSM6AAAAAARGUYK4U. You are receiving this because you commented.Message ID: @.***>

colinzhaoxp commented 1 year ago

感谢您的建议，我将马上着手实验：）

litsunshine commented 1 year ago

你好， 可以尝试讲VTNet的encoder和decoder分别改为2层而不是6层进行训练。 Best wishes, Heming Du From: colinzhaoxp @.> Date: Monday, 28 November 2022 at 15:44 To: xiaobaishu0097/ICLR_VTNet @.> Cc: Heming Du @.>, Comment @.> Subject: Re: [xiaobaishu0097/ICLR_VTNet] 可以提供一下文章中已经训练好的模型吗？ (Issue #2) 非常感谢您的回复！！！ 我在论文中注意到预训练对于VTNet来说，非常重要，因此我想是不是预训练的问题呢？ 我的预训练模型的精度，在训练集合上表现在66左右，验证集表现6大多都保持在66左右，而测试集上的精度保持在60多点，且这些精度从epoch=0开始到最后，变化幅度都不大。请问您的训练过程也是这样吗？ 附上我的预训练日志和训练日志，十分期待您的回复：） 预训练日志：pretrain.txthttps://github.com/xiaobaishu0097/ICLR_VTNet/files/10100521/pretrain.txt 训练输出：train.txthttps://github.com/xiaobaishu0097/ICLR_VTNet/files/10100524/train.txt 训练输出的tensorboard文件，由于github无法上传文件，我放到了其他平台上：https://cowtransfer.com/s/aa7877224a8448 提取码：7owais ― Reply to this email directly, view it on GitHub<#2 (comment)>, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AH5WWFGPFBMDZDLWH3XWWLDWKQ2BBANCNFSM6AAAAAARGUYK4U. You are receiving this because you commented.Message ID: @.***>

Thank you！

litsunshine commented 1 year ago

这是我们的复现结果，性能非常低。代码参数基本没有改动。 { "GreaterThan/1/spl": 0.027155465037338764, "GreaterThan/1/success": 0.08859470468431772, "GreaterThan/5/spl": 0.0012588116817724068, "GreaterThan/5/success": 0.0015105740181268882, "done_count": 1.0, "ep_length": 6.0, "spl": 0.02666666666666667, "success": 0.09, "total_reward": 0.39089999999999747, "total_time": 0.33500297951698305 } 同时，我在训练的时候发现了如下一行代码： os.environ["OMP_NUM_THREADS"] = "1" 这行代码好像在预训练、训练和测试文件中都存在，我在训练的时候注释掉了本行代码，请问是因为这个问题吗？

非常期待您的回复！

你好， 可以尝试讲VTNet的encoder和decoder分别改为2层而不是6层进行训练。 Best wishes, Heming Du From: colinzhaoxp @.> Date: Monday, 28 November 2022 at 15:44 To: xiaobaishu0097/ICLR_VTNet @.> Cc: Heming Du @.>, Comment @.> Subject: Re: [xiaobaishu0097/ICLR_VTNet] 可以提供一下文章中已经训练好的模型吗？ (Issue #2) 非常感谢您的回复！！！ 我在论文中注意到预训练对于VTNet来说，非常重要，因此我想是不是预训练的问题呢？ 我的预训练模型的精度，在训练集合上表现在66左右，验证集表现6大多都保持在66左右，而测试集上的精度保持在60多点，且这些精度从epoch=0开始到最后，变化幅度都不大。请问您的训练过程也是这样吗？ 附上我的预训练日志和训练日志，十分期待您的回复：） 预训练日志：pretrain.txthttps://github.com/xiaobaishu0097/ICLR_VTNet/files/10100521/pretrain.txt 训练输出：train.txthttps://github.com/xiaobaishu0097/ICLR_VTNet/files/10100524/train.txt 训练输出的tensorboard文件，由于github无法上传文件，我放到了其他平台上：https://cowtransfer.com/s/aa7877224a8448 提取码：7owais ― Reply to this email directly, view it on GitHub<#2 (comment)>, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AH5WWFGPFBMDZDLWH3XWWLDWKQ2BBANCNFSM6AAAAAARGUYK4U. You are receiving this because you commented.Message ID: @.***>

大佬，how to use the TPN network?

rginjapan commented 3 months ago

@colinzhaoxp 你好 我无法用我自己训练的模型测试 训练的模型是在trained_models/ XXX.dat 对吗 python full_eval.py --gpu-ids 0 --detr --save-model-dir {SAVE_MODEL_DIR} --results-json ./result.json --model VTNetModel --title a3c_previstrans_base 之后报错： AttributeError: 'NoneType' object has no attribute 'seek'. You can only torch.load from a file that is seekable. Please pre-load the data into a buffer like io.BytesIO and try to load from it instead.

wanjiaqi7 commented 2 months ago

@rginjapan Hi, I encountered the same issue. Have you resolved it? If so, how did you resolve it?

colinzhaoxp commented 2 months ago

@colinzhaoxp 你好 我无法用我自己训练的模型测试 训练的模型是在trained_models/ XXX.dat 对吗 python full_eval.py --gpu-ids 0 --detr --save-model-dir {SAVE_MODEL_DIR} --results-json ./result.json --model VTNetModel --title a3c_previstrans_base 之后报错： AttributeError: 'NoneType' object has no attribute 'seek'. You can only torch.load from a file that is seekable. Please pre-load the data into a buffer like io.BytesIO and try to load from it instead.

抱歉，最后我放弃使用该项目的代码了。。。