en-de在toy上复现问题

leonodelee commented 3 years ago

您好，请问我直接用您的en-de模型在toy数据形成的二进制文件上跑，出现以下错误是为什么呢？hydra.errors.ConfigCompositionException: Error merging override generation.print_alignment=False

leonodelee commented 3 years ago

上面这个版本问题解决了，但是遇到了新的问题，请问我在预处理之后获得的mergerd_data为啥为空呢，我也没有找到对应的vocab.bpe.600；以至于预处理的数据不对，调用fairseq generate导致后面字典和数据维度对不上

luxinyu1 commented 3 years ago

上面这个版本问题解决了，但是遇到了新的问题，请问我在预处理之后获得的mergerd_data为啥为空呢，我也没有找到对应的vocab.bpe.600；以至于预处理的数据不对，调用fairseq generate导致后面字典和数据维度对不上

vocab.bpe可能是在README中dataset小节中下载的，可是现在链接用不了

MayDomine commented 3 years ago

您好，请问我直接用您的en-de模型在toy数据形成的二进制文件上跑，出现以下错误是为什么呢？hydra.errors.ConfigCompositionException: Error merging override generation.print_alignment=False

您好，请问我直接用您的en-de模型在toy数据形成的二进制文件上跑，出现以下错误是为什么呢？hydra.errors.ConfigCompositionException: Error merging override generation.print_alignment=False

你好，我也报了这个错，可以告诉我怎么解决么

wying8349 commented 3 years ago

您好，我也报了这个错，请问您最后是怎么解决的呢？

MayDomine commented 3 years ago

您好，我也报了这个错，请问您最后是怎么解决的呢？

把你现在fairseq删掉，去git上找到最新的release，下载源码重装一下就好了，版本问题

wying8349 commented 3 years ago

上面这个版本问题解决了，但是遇到了新的问题，请问我在预处理之后获得的mergerd_data为啥为空呢，我也没有找到对应的vocab.bpe.600；以至于预处理的数据不对，调用fairseq generate导致后面字典和数据维度对不上

vocab.bpe可能是在README中dataset小节中下载的，可是现在链接用不了

您好，我在dataset小节中找到了vocab.bep.32000，请问这个可以替代vocab.bep.600吗

MayDomine commented 3 years ago

时间太长，我已经忘了。。。

---原始邮件--- 发件人: @.> 发送时间: 2021年10月21日(周四) 中午11:02 收件人: @.>; 抄送: @.**@.>; 主题: Re: [linzehui/mRASP] en-de在toy上复现问题 (#17)

上面这个版本问题解决了，但是遇到了新的问题，请问我在预处理之后获得的mergerd_data为啥为空呢，我也没有找到对应的vocab.bpe.600；以至于预处理的数据不对，调用fairseq generate导致后面字典和数据维度对不上

vocab.bpe可能是在README中dataset小节中下载的，可是现在链接用不了

您好，我在dataset小节中找到了vocab.bep.32000，请问这个可以替代vocab.bep.600吗

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

MayDomine commented 3 years ago

我记得是要看一下处理日志，看日志哪一步做错了，应该在data目录下

---原始邮件--- 发件人: @.> 发送时间: 2021年10月21日(周四) 中午11:02 收件人: @.>; 抄送: @.**@.>; 主题: Re: [linzehui/mRASP] en-de在toy上复现问题 (#17)

上面这个版本问题解决了，但是遇到了新的问题，请问我在预处理之后获得的mergerd_data为啥为空呢，我也没有找到对应的vocab.bpe.600；以至于预处理的数据不对，调用fairseq generate导致后面字典和数据维度对不上

vocab.bpe可能是在README中dataset小节中下载的，可是现在链接用不了

您好，我在dataset小节中找到了vocab.bep.32000，请问这个可以替代vocab.bep.600吗

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

S-GeGe commented 3 years ago

您好，我参考知乎进行微调【https://zhuanlan.zhihu.com/p/353070757】，使用的vocab.bpe.32000代替600，checkpoint_best.pt使用的mRASP-PC32-6enc6dec.pt，在执行export CUDA_VISIBLE_DEVICES=1 export EVAL_GPU_INDEX=${eval_gpu_index} bash ${PROJECT_ROOT}/train/fine-tune.sh ${PROJECT_ROOT}/experiments/example/configs/train/fine-tune/en2de_transformer_big.yml ${PROJECT_ROOT}/experiments/example/configs/eval/en2de_eval.yml 时，屏幕打印出如下错误： Usage: sacremoses tokenize [OPTIONS] Try 'sacremoses tokenize -h' for help. Error: No such option: -l sacreBLEU: System and reference streams have different lengths. 请帮忙看一下，是什么问题

rfvscj commented 2 years ago

我也遇到了同样的问题，请问该问题您是否已经解决？

PANXiao1994 commented 2 years ago

您好，我参考知乎进行微调【https://zhuanlan.zhihu.com/p/353070757】，使用的vocab.bpe.32000代替600，checkpoint_best.pt使用的mRASP-PC32-6enc6dec.pt，在执行export CUDA_VISIBLE_DEVICES=1 export EVAL_GPU_INDEX=${eval_gpu_index} bash ${PROJECT_ROOT}/train/fine-tune.sh ${PROJECT_ROOT}/experiments/example/configs/train/fine-tune/en2de_transformer_big.yml ${PROJECT_ROOT}/experiments/example/configs/eval/en2de_eval.yml 时，屏幕打印出如下错误： Usage: sacremoses tokenize [OPTIONS] Try 'sacremoses tokenize -h' for help. Error: No such option: -l sacreBLEU: System and reference streams have different lengths. 请帮忙看一下，是什么问题

你好， sacreBLEU: System and reference streams have different lengths.的意思是reference和hypo文件长度不一致，另外sacreBLEU的版本也在更新，具体的可以查看sacreBLEU的git官网查看使用说明。

wenHK commented 2 years ago

您好，我参考知乎进行微调【https://zhuanlan.zhihu.com/p/353070757】，使用的vocab.bpe.32000代替600，checkpoint_best.pt使用的mRASP-PC32-6enc6dec.pt，在执行export CUDA_VISIBLE_DEVICES=1 export EVAL_GPU_INDEX=${eval_gpu_index} bash PROJECTROOT/train/fine−tune.sh{PROJECT_ROOT}/experiments/example/configs/train/fine-tune/en2de_transformer_big.yml ${PROJECT_ROOT}/experiments/example/configs/eval/en2de_eval.yml 时，屏幕打印出如下错误： Usage: sacremoses tokenize [OPTIONS] Try 'sacremoses tokenize -h' for help. Error: No such option: -l sacreBLEU: System and reference streams have different lengths. 请帮忙看一下，是什么问题

你好，请问这个问题你是怎么解决的呀？

linzehui / mRASP

en-de在toy上复现问题 #17