search

imcaspar / gpt2-ml

GPT2 for Multiple Languages, including pretrained models. GPT2 多语言支持, 15亿参数中文预训练模型
Apache License 2.0
1.72k stars 334 forks source link

[Discussion] 关于中文预训练模型细节 #94

Closed syw1996 closed 4 years ago

syw1996 commented 4 years ago

您好！在readme中目前只公布了模型训练步数以及TPU的型号，并未详细说明需要TPU的数量以及batch size设置。请问这些模型训练详情是否方便公布，非常感谢。

imcaspar commented 4 years ago

可以参考这里的参数设置 https://github.com/imcaspar/gpt2-ml/tree/master/train

syw1996 commented 4 years ago

可以参考这里的参数设置 https://github.com/imcaspar/gpt2-ml/tree/master/train

多谢