ghosthamlet
commented
3 years ago 本类库完全在Transformers类库上建立的，与Transformers类库自带的Trainer也兼容，所以微调方法用它的就可以，这里有很多实例：https://github.com/huggingface/transformers/tree/v3.1.0/examples ，文档：https://huggingface.co/transformers/v3.1.0/training.html ，注意transformers版本是v3.1.0。
更新：
只需要先import本库的GPT2LMHeadModel，其他的代码就和Transformers训练微调的一样了：
from gpt2_ml_torch.modeling_gpt2 import GPT2LMHeadModel
Tokenizer用的是transformers的BertTokenizer：
from transformers import BertTokenizer
或
from transformers import BertTokenizerFast
@Sheng-Ru 你好，你需要的微调示例已经上传了
DeepSpeed微调示例更新：
https://github.com/ghosthamlet/gpt2-ml-torch/blob/master/finetune_lm.py
Sheng-Ru
不好意思 我想詢問一下 如果想微調 那有train.py 或是 格式之類的嗎？