TypeError: init_process_group() got multiple values for keyword argument 'backend' 使用torchrun会报这个错，V100，32G，2卡训练，执行finetune.sh 不起来，一直报着个错

hangzeli08 commented 1 year ago

如果你遇到问题需要我们帮助，你可以从以下角度描述你的信息，以便于我们可以理解或者复现你的错误（学会如何提问不仅是能帮助我们理解你，也是一个自查的过程）： 1、你使用了哪个脚本、使用的什么命令 2、你的参数是什么（脚本参数、命令参数） 3、你是否修改过我们的代码 4、你用的哪个数据集

如果上面都是保持原样的，你可以描述“我用的哪个脚本、命令，跑了哪个任务，然后其他参数、数据都和你们一致”，便于我们平行地理解你们的问题。

然后你可以从环境的角度描述你的问题，这些问题我们在readme已经相关的问题及解决可能会有描述： 1、哪个操作系统 2、使用的什么显卡、多少张 3、python的版本 4、python各种库的版本

然后你也可以从运行的角度来描述你的问题： 1、报错信息是什么，是哪个代码的报错（可以将完整的报错信息都发给我们） 2、GPU、CPU是否工作正常

同时你也可以看看issue，或者我们整理的信息里面有没有类似的问题相关的问题及解决

当然这只是个提问说明，你没有必要一一按照里面的内容来提问。

Facico commented 1 year ago

可以参考类似的issue,这个issue看起来挺新的，因为不清楚是不是transformers这个库最新的问题，你试试这里面的“pip install transformers==4.28.1”能不能成功，或者可以固定一个commit hash试试，比如“pip install git+https://github.com/huggingface/transformers@ff20f9cf3615a8638023bc82925573cb9d0f3560”

alisyzhu commented 1 year ago

请问你这个问题怎么解决的呀，我今天也遇到这个问题了

Curious-chen commented 1 year ago

使用4.28.1 版本的transformers解决了这个问题 pip install transformers==4.28.1

yeyupiaoling commented 1 year ago

升级accelerate 到0.19.0即可

pip install accelerate  -U

Facico / Chinese-Vicuna