性能拉跨

[boxter007]

推理速度超级拉跨

两张A6000推理一个python语言的‘写一个hello world’，用了200秒。

推理质量拉跨

同样的问题停不下来，不但写了一个hello world，还写了一个类，又写了一个类，不停的写没有要求的东西。

[Stanislas0]

推理速度超级拉跨

两张A6000推理一个python语言的‘写一个hello world’，用了200秒。

推理质量拉跨

同样的问题停不下来，不但写了一个hello world，还写了一个类，又写了一个类，不停的写没有要求的东西。

第一点，估计是设置有问题，参考这个推理教程，推理速度轻松达到80-100 token/s。 第二点，CodeGeeX2-6B 是一个基座代码生成模型，没有经过指令微调，作代码补全时需要对生成结果进行截断，而不是一直生成。如果要体验更完整的chat功能，请下载我们插件（VS Code, Jetbrains），使用其中的“Ask CodeGeeX”功能。