Open nullxjx opened 9 months ago
看起来格式有点问题,请看这个readme https://github.com/deepseek-ai/DeepSeek-Coder#2-code-insertion
看起来格式有点问题,请看这个readme https://github.com/deepseek-ai/DeepSeek-Coder#2-code-insertion
看起来跟官方文档是一致的,他这种 fim格式问题出在哪里?
"<|fim▁begin|>${preprefix}${prefix}<|fim▁hole|>${suffix}<|fim▁end|>"
"<|fim▁begin|>${prefix}<|fim▁hole|>${suffix}<|fim▁end|>"
看起来格式有点问题,请看这个readme https://github.com/deepseek-ai/DeepSeek-Coder#2-code-insertion
看起来跟官方文档是一致的,他这种 fim格式问题出在哪里?
"<|fim▁begin|>${prefix}<|fim▁hole|>${suffix}<|fim▁end|>" 多了${preprefix}
ˇ
低了8个点,
@guoday 这个会有这么大影响么? 模型应该有足够的泛化能力吧
不使用fim,跑出来的分数跟官方给的比较接近,但是使用fim后分数很低,低了8个点,以下是我使用的fim格式,请问有啥问题吗?