bert文本分类评估指标问题

[mengjing12332]

欢迎您对PaddleHub提出建议，非常感谢您对PaddleHub的贡献！ 在留下您的建议时，辛苦您同步提供如下信息：

• 您想要增加什么新特性？
• 什么样的场景下需要该特性？
• 没有该特性的条件下，PaddleHub目前是否能间接满足该需求？
• 增加该特性，PaddleHub可能需要变化的部分。
• 如果可以的话，简要描述下您的解决方案 在使用模型库中的bert-wwm进行多文本分类项目时发现，输出的评估指标为acc，但是我需要用macro-f1来作为我的评估指标，请问paddlehub考虑增加多分类F1 Score等评估指标吗，或者如果我需要自己写自定义评估方法的话，需要到哪个文件中进行修改，是在模型中或是其他的什么地方。

[KPatr1ck]

你好，目前bert-wwm模型的文本分类任务的评估指标是acc，如果需要修改的话，需要自行修改module里的评价指标。

https://github.com/PaddlePaddle/PaddleHub/blob/933284b048b115efab2420519f9bc8010546272a/modules/text/language_model/chinese_bert_wwm/module.py#L114-L122

上面116行的probs可以获取样本的软标签，119-120行可以自行更改为想要的指标，计算后在121以dict形式返回。

[wj-Mcat]

@KPatr1ck 可是仅仅是Acc的指标对于真实场景下的应用往往不太够，我建议给出对应的混淆矩阵，这样acc/precision/recall/f1score都可以计算出来。

如果你们觉得需要的话，我可以来update这个feature。