search

deepseek-ai / DeepSeek-V2

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
MIT License
3.6k stars 153 forks source link

关于DeepSeek-Coder-V2-Lite-Base的128k捞针测试结果 #59

Open chaochen99 opened 5 months ago

chaochen99 commented 5 months ago

您好，

我测试了deepseek-ai/DeepSeek-Coder-V2-Lite-Base 在128k捞针任务上的表现，结果的正确率不足50%。并且受限于硬件，我无法在deepseek-ai/DeepSeek-Coder-V2-Base 上进行1k到128k的捞针测试。

不知是DeepSeek-Coder-V2-Lite-Base的捞针任务表现一般还是我的测试代码有问题，您可否提供捞针测试代码以便于我重新测试？

感谢！

hensiesp32 commented 4 months ago

您好，请问您在测试海底捞针的过程中，是否遇到过模型输出不达到max-new-token就不停止的情况呢？ 类似于https://github.com/deepseek-ai/DeepSeek-V2/issues/60 这个问题。