PaddlePaddle / PaddleHub

Awesome pre-trained models toolkit based on PaddlePaddle. (400+ models including Image, Text, Audio, Video and Cross-Modal with Easy Inference & Serving)
https://www.paddlepaddle.org.cn/hub
Apache License 2.0
12.63k stars 2.08k forks source link

PaddleHub加载ERNIE-GEN模型后,在预测阶段,是否可以调用有关评价指标的函数,比如想获得1-gram,2-gram等等信息,或者准确率等等,又或者如何量化生成的摘要和原来的摘要的好坏 #1528

Open lqgeek1025 opened 3 years ago

lqgeek1025 commented 3 years ago

欢迎您对PaddleHub提出建议,非常感谢您对PaddleHub的贡献! 在留下您的建议时,辛苦您同步提供如下信息:

KPatr1ck commented 3 years ago

你好,目前ernie-gen相关模型只支持文本的生成,不支持输出评估指标。 如果你是需要通过比对模型生成的文字和原文摘要得出分数,可以使用paddlenlp.metrics中提供的Perplexity、BLEU和Rouge,详情可参考这里:https://github.com/PaddlePaddle/PaddleNLP/tree/develop/paddlenlp/metrics