search

OpenBMB / CPM-Bee

百亿参数的中英文双语基座大模型
2.69k stars 214 forks source link

关于自监督预训练的数据输入格式 #70

Open fengcai24 opened 1 year ago

fengcai24 commented 1 year ago

如果我想构造自回归方式的数据，用于预训练/全参数微调，那么应该是怎么样的数据输入格式呢？望大佬们能够帮忙解答一些，期待回复。