自然语言处理的相关任务属于知识型还是推理型任务呢？

hkust-nlp / ceval

Official github repo for C-Eval, a Chinese evaluation suite for foundation models [NeurIPS 2023]

https://cevalbenchmark.com/

MIT License

1.63k stars 78 forks source link

Closed liumingzhu6060 closed 1 year ago

liumingzhu6060 commented 1 year ago

你好，请教一下，自然语言处理的相关任务，比如机器翻译、语义相似性判断，应该属于知识型还是推理性任务呢，还是两者都不属于，现有的测试集是否应该增加这部分的测试？

jxhe commented 1 year ago

机器翻译感觉知识和推理成分都有，语义相似性或者NLI等任务更接近纯推理性任务。CEval目前的版本只关注中文知识测试