search

vsislab / Controllable_XGating

ICCV2019: Controllable Video Captioning with POS Sequence Guidance Based on Gated Fusion Network
67 stars 13 forks source link

结果复现出错 #2

Open JincanDeng opened 4 years ago

JincanDeng commented 4 years ago

百瑞，你好。 我用你们的模型跑了一下测试代码。得到结果如下： 2 感觉跟你们给出的结果有点差距。不知道是不是版本原因不同造成的。我的版本是： pytorch: 1.3 CUDA: 10 PYTHON: 3.6

leobxpan commented 4 years ago

got the same result. with RL it's much better though still a bit off:

BLEU@4: 40.3%, CIDEr: 52.3%, METEOR: 28.0%, ROUGE: 61.8%

Any insight would be highly appreciated.

--- update ---

this is with python 2.7, pytorch 0.4 and cuda 10

leobxpan commented 4 years ago

to ping on the thread @siyilingting. any ideas?

siyilingting commented 4 years ago

@JincanDeng @CaesarPan This is a strange phenomenon. It is recommended to try with pytorch==0.3.1.

tuyunbin commented 4 years ago

@JincanDeng 你好，请问你换成pytorch0.3.1之后效果如何

tuyunbin commented 4 years ago

你好，我用你的训练好的模型运行sh evaluation.sh 时，最后报错 TypeError: narrow() missing 3 required positional argument: "dim", "start", "length" 我的环境：python2.7，pytorch1.1.0，cuda 10.0

JincanDeng commented 4 years ago

@JincanDeng 你好，请问你换成pytorch0.3.1之后效果如何

换成pytorch 0.3.1后使用作者提供的模型，基本能达到论文里的效果。

tuyunbin commented 4 years ago

@JincanDeng 你好，请问你换成pytorch0.3.1之后效果如何

换成pytorch 0.3.1后使用作者提供的模型，基本能达到论文里的效果。

请问你用pytorch1.3使用作者提供的模型测试的时候会报这个错误吗？ TypeError: narrow() missing 3 required positional argument: "dim", "start", "length"

JincanDeng commented 4 years ago

@tuyunbin 估计是由于pytorch版本不同导致的，之前我用pytorch>1.0的时候也是修改过一些地方才能正常运行。你可以试试将"narrow(dimension=)"改成"narrow(dim=)"试试。

Soldelli commented 4 years ago

Can anyone share a working conda environment for this project? Preferably a .yml file.

lszp commented 4 years ago

@siyilingting
你好，在MSVD数据集上，利用自己提的特征，跑的实验结果与论文结果在B4和CIDEr指标上分别低了5个点和10个点，其他指标也低了1~2个点，请问你能提供一下关于MSVD数据集的相关特征和其他数据文件吗？

wzw1998 commented 3 years ago

百瑞，你好。 我用你们的模型跑了一下测试代码。得到结果如下： 感觉跟你们指出的结果有点差异。不知道是不是版本原因不同造成的。我的版本是： pytorch：1.3 CUDA ：10 PYTHON：3.6 2

你好，我最近也在准备跑这个项目，能加个联系方式嘛，想了解一下你是怎么跑出来的

alokssingh commented 3 years ago

How to resolve this error:

Traceback (most recent call last): File "extract_pos.py", line 51, in with open(opt.infos_path) as f: FileNotFoundError: [Errno 2] No such file or directory: '../results/pos_generator/pos_tag/infos_postag-best.pkl'

From where I can get infos_postag-best.pkl?

QYoung66 commented 3 years ago

百瑞，你好。 我用你们的模型跑了一下测试代码。得到结果如下： 感觉跟你们指出的结果有点差异。不知道是不是版本原因不同造成的。我的版本是： pytorch：1.3 CUDA ：10 PYTHON：3.6 2

你好，我最近也在准备跑这个项目，能加个联系方式嘛，想了解一下你是怎么跑出来的

朋友你情况怎么样，可以加个微信或者qq讨论一下吗？