更新代码后，重新执行finetune.sh出错， TypeError: init_process_group() got multiple values for keyword argument 'backend'

[alisyzhu]

昨日重新拉取git code之后，再次执行finetune.sh，torchrun 就会报错。 【初始环境】 A100 * 1 accelerate 0.18.0 bitsandbytes 0.37.2 transformers 4.29.0.dev0 【修改环境v1】 执行pip install transformers==4.28.1 结果：仍然错误 【修改环境v2】 执行 pip install git+https://github.com/huggingface/transformers@ff20f9cf3615a8638023bc82925573cb9d0f3560 结果：仍然报错，错误如下：

[Facico]

finetune.py一个月都没改过了，老问题了你单卡就别用torchrun了，直接用python跑 （报错的时候，你可以把你的错误在我们仓库搜一下）

[dizhenx]

finetune.py一个月都没改过了，老问题了你单卡就别用torchrun了，直接用python跑 （报错的时候，你可以把你的错误在我们仓库搜一下）

我现在运行bash finetune_others_continue.sh也报这个错，这个错误是在调用finetune.py:237行时发生的

[Facico]

@dizhenx 这个和哪个脚本没关系，多卡用torchrun（我们脚本都是默认多卡的），单卡就不要用了，直接用python

[wangrui6]

@Facico A100 的训练参数组合有经验吗？ ···

optimized for RTX 4090. for larger GPUs, increase some of these?

MICRO_BATCH_SIZE = 4 # this could actually be 5 but i like powers of 2 BATCH_SIZE = 128 MAX_STEPS = None GRADIENT_ACCUMULATION_STEPS = BATCH_SIZE // MICRO_BATCH_SIZE EPOCHS = 3 # we don't always need 3 tbh LEARNING_RATE = 3e-4 # the Karpathy constant CUTOFF_LEN = 256 # 256 accounts for about 96% of the data LORA_R = 8 LORA_ALPHA = 16 LORA_DROPOUT = 0.05 VAL_SET_SIZE = args.test_size #2000 ··· 尤其是前几个

[wangrui6]

@Facico 另外想问一下finetune的速度如何？用4090 finetune vicuna13b，100K的samples大概要多久？有可以参考的数据吗？

[benjamin555]

vicuna13b

这个框架支持精调vicuna13b吗？

[Facico]

@wangrui6 一般只用根据硬件需求调CUTOFF_LEN。不太记得了，应该是几十万数据大概跑了200h @benjamin555 基底是llama 的都支持