shibing624 / textgen

TextGen: Implementation of Text Generation models, include LLaMA, BLOOM, GPT2, BART, T5, SongNet and so on. 文本生成模型,实现了包括LLaMA,ChatGLM,BLOOM,GPT2,Seq2Seq,BART,T5,UDA等模型的训练和预测,开箱即用。
Apache License 2.0
938 stars 109 forks source link

shibing624/prompt-t5-base-chinese测试结果和示例结果不一致 #13

Closed hjing100 closed 1 year ago

hjing100 commented 1 year ago

这是测试代码: from textgen import T5Model model = T5Model("t5", "shibing624/prompt-t5-base-chinese")

while(True): print('input sentence:') input_text = input() print('input:') print(input_text) r = model.predict([input_text]) print('output:') print(r)

测试结果: input sentence: 意图分类:\n帮我定一个周日上海浦东的房间\n选项:闹钟,文学,酒店,艺术,体育,健康,天气,其他 \n答案: input: 意图分类:\n帮我定一个周日上海浦东的房间\n选项:闹钟,文学,酒店,艺术,体育,健康,天气,其他 \n答案: Generating outputs: 100%|███████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 22.28it/s] output: ['旅游']

和hugging face上您显示的测试结果不一致: Input: 意图分类: 帮我定一个周日上海浦东的房间 选项:闹钟,文学,酒店,艺术,体育,健康,天气,其他 答案: Model output: 酒店

shibing624 commented 1 year ago

嗯,看来是错了。模型预测结果不在候选项中

shibing624 commented 1 year ago

模型预测结果一致性不能完全保证。