类ChatZhipuAI(BaseChatModel)缺get_token_ids()方法

[ht-dep]

使用

load_summarize_chain(llm,chain_type="map_reduce",verbose=True,map_prompt=PROMPT,combine_prompt=COMBINE_PROMPT)

时，出现离线下载gpt2模型的问题

• 类ChatZhipuAI(BaseChatModel)没有get_token_ids()方法，会默认走langchain的_get_token_ids_default_method()方法，就会去下主动下载gpt2的模型。国内网络环境不好，走梯子也不好下载，重点在于离线下载了也没啥意义；
• 建议在类ChatZhipuAI(BaseChatModel)增加个简单get_token_ids()方法,如下

def get_token_ids(self, text: str):
    encoding_model = tiktoken.get_encoding("cl100k_base")
    return encoding_model.encode(text)

[arcstep]

感谢！这是个好建议！我会很快增加上来。

[arcstep]

https://github.com/arcstep/langchain_zhipuai/blob/e7e9801348dae32636714733861c6d24e0b9b384/langchain_zhipu/chat.py#L438-L442

已经加好了，使用时需要把 langchain_zhipu 版本更新到 4.0.8

[ht-dep]

我想提个commit了，好像没有权限啥的，直接在问题里发了

[arcstep]

我想提个commit了，好像没有权限啥的，直接在问题里发了

应该不需要特别权限，只要克隆项目、创建新分支、进行修改，然后创建一个合并请求。