humaneval 效果测试

[Ski-ing]

请问如果我要用aixcoder-7b做一个纯生成的任务,而不是FIM格式的,例如一个代码网页问答页面, 参数如何设置. 比如 aixcoder-7b在测试生成类题目,如human-eval python的时候, later_code和file_path,解码方式以及推理参数是如何设置的?

[HoratioJSY]

评测humaneval的时候，later_code保持为空，path也保持为空，模拟光标在文件开始时往后预测，采用argmax解码。当然，您也可以用标准的autoregressive方式，不用fim，我们在预训练中有0.4的概率是autoregressive，所以也没问题。