shibing624 / textgen

TextGen: Implementation of Text Generation models, include LLaMA, BLOOM, GPT2, BART, T5, SongNet and so on. 文本生成模型,实现了包括LLaMA,ChatGLM,BLOOM,GPT2,Seq2Seq,BART,T5,UDA等模型的训练和预测,开箱即用。
Apache License 2.0
938 stars 109 forks source link

模型结果有问题 #53

Closed chw-shuai closed 1 year ago

chw-shuai commented 1 year ago

使用模型对新闻分类(classify)、目的分类(classify)、摘要(生成)进行测试,和预期结果差异太大,在https://huggingface.co/csebuetnlp/mT5_multilingual_XLSum测试同样如此

-- coding: utf-8 --

from textgen import T5Model model = T5Model("t5", "shibing624/prompt-t5-base-chinese") r = model.predict(['''分类任务: 折价率过低遭抛售基金泰和跌7.15%,证券时报记者 朱景锋本报讯 由于折价率在大盘封基中处于最低水平,基金泰和昨日遭到投资者大举抛售,跌幅达到7.15%,远超大盘。盘面显示,基金泰和随大盘高开,之后开始震荡走低,午后开始加速下行,几乎没有像样反弹。截至收盘时,在沪深300指数仅下跌2.56%的情况下,基金泰和收盘跌幅高达7.15%,在所有封基中跌幅最大,而昨日多数封基跌幅在2%左右。 选项:财经,娱乐,时政,股票 答案:''']) print(r)

结果:['股票价格下降']

shibing624 commented 1 year ago

该模型是去年的初版模型,语义对齐太弱了,为避免带来困惑,我关闭该模型,等升级到flat-t5的中文模型后,再开放。