search

OpenLMLab / ChatZoo

Light local website for displaying performances from different chat models.
Apache License 2.0
85 stars 7 forks source link

ChatGLM2-6B的模型数据格式问题 #13

Open Alternate-D opened 1 year ago

Alternate-D commented 1 year ago

作者您好！我想请问一下您所编写的ChatGLM2-6B模型的接口中有没有定义efficient_eos参数呢？如下图所示： image 该参数的作用是让模型及时停止生成文本，而不是一直生成文本到max_length

MorningForest commented 1 year ago

现在的chatglm2-6b暂时没这个参数，如果是generate接口的参数，可以在配置文件的generate_kwargs增加上去，推理时候用的配置参数是配置文件的genrate_kwargs。

Alternate-D commented 1 year ago

好的，谢谢您