Closed boxter007 closed 1 year ago
两张A6000推理一个python语言的‘写一个hello world’,用了200秒。
同样的问题停不下来,不但写了一个hello world,还写了一个类,又写了一个类,不停的写没有要求的东西。
推理速度超级拉跨 两张A6000推理一个python语言的‘写一个hello world’,用了200秒。 推理质量拉跨 同样的问题停不下来,不但写了一个hello world,还写了一个类,又写了一个类,不停的写没有要求的东西。
第一点,估计是设置有问题,参考这个推理教程,推理速度轻松达到80-100 token/s。 第二点,CodeGeeX2-6B 是一个基座代码生成模型,没有经过指令微调,作代码补全时需要对生成结果进行截断,而不是一直生成。如果要体验更完整的chat功能,请下载我们插件(VS Code, Jetbrains),使用其中的“Ask CodeGeeX”功能。
推理速度超级拉跨
两张A6000推理一个python语言的‘写一个hello world’,用了200秒。
推理质量拉跨
同样的问题停不下来,不但写了一个hello world,还写了一个类,又写了一个类,不停的写没有要求的东西。