Open lqgeek1025 opened 3 years ago
欢迎您对PaddleHub提出建议,非常感谢您对PaddleHub的贡献! 在留下您的建议时,辛苦您同步提供如下信息:
您想要增加什么新特性?
什么样的场景下需要该特性? 模型测试集验证结果评价标准
没有该特性的条件下,PaddleHub目前是否能间接满足该需求? 还不知道
增加该特性,PaddleHub可能需要变化的部分。 可能需要修改preduction相关代码,增加有关评价指标的函数,比如支持主流的ROUGE-1,ROUGE-2,ROUGE-L评价方案,或者想获得1-gram,2-gram等等信息,或者准确率等等
如果可以的话,简要描述下您的解决方案 可能需要修改preduction相关代码,增加有关评价指标的函数
其他能想到的问题 希望能够提供比较详实的PaddleHub的使用文档
你好,目前ernie-gen相关模型只支持文本的生成,不支持输出评估指标。 如果你是需要通过比对模型生成的文字和原文摘要得出分数,可以使用paddlenlp.metrics中提供的Perplexity、BLEU和Rouge,详情可参考这里:https://github.com/PaddlePaddle/PaddleNLP/tree/develop/paddlenlp/metrics
paddlenlp.metrics
欢迎您对PaddleHub提出建议,非常感谢您对PaddleHub的贡献! 在留下您的建议时,辛苦您同步提供如下信息:
您想要增加什么新特性?![测试结果评价](https://user-images.githubusercontent.com/82364831/125382862-0ebb0000-e3c9-11eb-83ea-d06a2397037d.png)
什么样的场景下需要该特性? 模型测试集验证结果评价标准
没有该特性的条件下,PaddleHub目前是否能间接满足该需求? 还不知道
增加该特性,PaddleHub可能需要变化的部分。 可能需要修改preduction相关代码,增加有关评价指标的函数,比如支持主流的ROUGE-1,ROUGE-2,ROUGE-L评价方案,或者想获得1-gram,2-gram等等信息,或者准确率等等
如果可以的话,简要描述下您的解决方案 可能需要修改preduction相关代码,增加有关评价指标的函数
其他能想到的问题 希望能够提供比较详实的PaddleHub的使用文档