RUCAIBox / TextBox

TextBox 2.0 is a text generation library with pre-trained language models
https://github.com/RUCAIBox/TextBox
MIT License
1.08k stars 117 forks source link

[🐛BUG] 请问一下为什么debug模式没办法运行呢? #344

Closed Arthas183 closed 1 year ago

Arthas183 commented 1 year ago

描述这个 bug 调试如下代码:python run_textbox.py --model=PTG --model_path=facebook/bart-large --dataset=gyafc_em 先报一个 command line args [--model PTG --model_path facebook/bart-large --dataset gyafc_em] will not be used in TextBox 然后在utils.py里, tokenizer = AutoTokenizer.from_pretrained(tokenizer_path, **tokenizer_kwargs) 报错 None is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models' If this is a private repository, make sure to pass a token having permission to this repo with use_auth_token or log in with huggingface-cli login and pass use_auth_token=True.

如何复现 vscode中,launch.json文件设置成这样: { // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息,请访问: https://go.microsoft.com/fwlink/?linkid=830387 "version": "0.2.0", "configurations": [ { "name": "Python: Current File", "args": ["--model","PTG", "--model_path","facebook/bart-large", "--dataset","gyafc_em"], "type": "python", "request": "launch", "program": "${file}", "console": "integratedTerminal", "justMyCode": true } ] } 启动调试。

日志 (可选)添加saved文件夹中你运行项目的project.log日志文件,来方便我们更好地诊断问题。

StevenTang1998 commented 1 year ago

这个命令能在命令行中正常执行吗?

StevenTang1998 commented 1 year ago

python run_textbox.py --model=PTG --model_path=facebook/bart-large --dataset=gyafc_em

Arthas183 commented 1 year ago

python run_textbox.py --model=PTG --model_path=facebook/bart-large --dataset=gyafc_em

这个可以正常运行。但是运行这个指令的时候不需要更改其他的配置了吗?overall.yaml里面的model_name等需要根据不同的运行参数做变动吗?

刚才的问题解决了,是我launch.json写的不太好,改成下面的方式就可以了。

{ // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息,请访问: https://go.microsoft.com/fwlink/?linkid=830387 "version": "0.2.0", "configurations": [ { "name": "Python: Current File", "args": ["--model=PTG", "--model_path=facebook/bart-large", "--dataset=gyafc_em"], "type": "python", "request": "launch", "program": "${file}", "console": "integratedTerminal", "justMyCode": true } ] }

StevenTang1998 commented 1 year ago

如果能够正常运行,那遇到的问题是什么呢??

Arthas183 commented 1 year ago

如果能够正常运行,那遇到的问题是什么呢??

python run_textbox.py --model=PTG --model_path=facebook/bart-large --dataset=gyafc_em 运行命令时候需要根据参数来修改overall.yaml之类的文件吗?比如说我换一个模型或者数据集来做实验,是否需要对应修改一些文件?还是说什么都不用改?因为我看在run_textbox.py里面没有读model_path的参数,所以提这个问题。麻烦您了

StevenTang1998 commented 1 year ago

换模型或者数据集直接在命令行中修改即可

python run_textbox.py --model=<model-name> --dataset=<dataset-name> --model_path=<hf-or-local-path>
StevenTang1998 commented 1 year ago

如果可以的话,麻烦阅读一下首页中的说明文档,还有问题欢迎随时提问

Arthas183 commented 1 year ago

如果可以的话,麻烦阅读一下首页中的说明文档,还有问题欢迎随时提问

好的,十分感谢您!我再多研究研究。