search

dbiir / UER-py

Open Source Pre-training Model Framework in PyTorch & Pre-trained Model Zoo
https://github.com/dbiir/UER-py/wiki
Apache License 2.0
3.01k stars 525 forks source link

如何基于 GPT2增量训练或微调实现生成式任务 #401

Open runningabcd opened 7 months ago

runningabcd commented 7 months ago

训练数据格式如下： 你是文本分类专家，请对文本进行分类，将文本分到以下类别：音乐、体育、娱乐、财经。文本：xxxxxxx 类别是？音乐，娱乐

是否可实现这类生成式任务？目前未看到支持的脚本

runningabcd commented 7 months ago

@hhou435 大佬，求帮助

runningabcd commented 7 months ago

训练数据格式如下： 你是文本分类专家，请对文本进行分类，将文本分到以下类别：音乐、体育、娱乐、财经。文本：xxxxxxx 类别是？音乐，娱乐

是否可实现这类生成式任务？目前未看到支持的脚本

如果是这类数据，训练格式如下： 你是文本分类专家，请对文本进行分类，将文本分到以下类别：音乐、体育、娱乐、财经。文本：xxxxxxx 类别是？[SEP]音乐，娱乐 这种符合要求吗？

runningabcd commented 7 months ago

还有个问题是，基于 GPT2增量训练后，预测时发现，模型输出乱码，请问造成这类问题的原因是什么

runningabcd commented 7 months ago

这个项目die？没人维护了？omg