search

Macielyoung / Bloom-Lora

Finetune Bloom big language model with Lora method
28 stars 2 forks source link

deepspeed #6

Open kevinuserdd opened 1 year ago

kevinuserdd commented 1 year ago

用到deepspeed的功能了吗？ 我看代码里面，只是写了deepspeed的config配置，但是没看到怎么传入deepspeed的

Macielyoung commented 1 year ago

训练代码时使用deepspeed启动的：deepspeed --include=localhost:0,1 deepspeed_finetune_lora.py。

kevinuserdd commented 1 year ago

训练代码时使用deepspeed启动的：deepspeed --include=localhost:0,1 deepspeed_finetune_lora.py。

deepspeed启动我看到了，我的意思，deepspeed_config.json这个配置文件是怎么加载的，代码里没看到调用这个参数

Macielyoung commented 1 year ago

加一下启动参数配置：--deepspeed_config deepspeed.json。具体可以参考一下这个文档：https://www.deepspeed.ai/getting-started/。