search

Tendo33 / oneflow-test

oneflow test
0 stars 0 forks source link

GPT2 脚本训练注意事项 #11

Open Tendo33 opened 1 year ago

Tendo33 commented 1 year ago

在 OneAutoTest 里面有三个 branch ：https://github.com/Oneflow-Inc/OneAutoTest/branches： 

截屏2023-04-29 18 37 28

分别是 megatron_script_tecent , megatron_script_huoshan , megatron_script_sahngtang , 对应了腾讯云，火山云，商汤大装置, 三个平台所适配的脚本 训练脚本所在的路径位于 OneAutoTest/onebench/libai/ ，其中有四个脚本需要特别注意和使用： 下载时请特别注意使用的分支！

  1. args_train.sh

    此脚本为 libai 主要的训练脚本，功能为定义训练所需的参数，将参数传入训练启动文件

  2. run_libai_gpt.sh

    此脚本主要为配置 libai 训练所需的环境，包括安装 One Flow，Libai, 下载所需的数据集，以及调用 args_train.sh 发起训练，脚本中只设置了两个例子case，自定义需求可根据参数含义进行修改

  3. megatron_args_pretrain_gpt2.sh

    此脚本为 Megatron主要的训练脚本，训练参数已经对齐 libai，

  4. run_megatron_ml_gpt.sh

    此脚本为配置 Megatron 训练所需的环境，包括下载 Megaton，数据集，以及调用 megatron_args_pretrain_gpt2 发起训练，脚本中只设置了一个例子case，自定义需求可根据参数含义进行修改