search

shibing624 / textgen

TextGen: Implementation of Text Generation models, include LLaMA, BLOOM, GPT2, BART, T5, SongNet and so on. 文本生成模型，实现了包括LLaMA，ChatGLM，BLOOM，GPT2，Seq2Seq，BART，T5，UDA等模型的训练和预测，开箱即用。
Apache License 2.0
935 stars 109 forks source link

大佬请问有没有针对chatglm3的评估脚本呀 #58

Closed Franklin-L closed 6 months ago

Franklin-L commented 6 months ago

前辈您好，我是小白接触chatglm3，最近在想办法评估微调后的chatglm3的性能，现在是了解到对于通用的评估有BLEU 和 ROUGE 分数，请问前辈做过这个方面的吗

shibing624 commented 6 months ago

用cEval, MMLU

Franklin-L commented 6 months ago

嗷嗷好的谢谢大佬，那针对微调后的呢，如果想自己个性化定制一个方法应该怎么下手呢

shibing624 commented 6 months ago

微调后评估。