请教chatglm.cpp如何支持chatglm3 的 function calling

[hfyydd]

同title,能不能给个demo

[gaoshine]

貌似作者的分支已经开始支持了，new-prompt-fmt。我测试并没有成功，期待作者放出例子，感觉chatglm3的这次prompt的改动有些大，一些token的id大于60000的应该都是保留的token，防止用户注入。

[hfyydd]

等我去测一测

[li-plus]

已经支持了 system prompt / function call / code interpreter，可以跑下 examples/chatglm3_demo.py 这个 demo，参考最新的 README

[wanetcn]

运行这个chatglm3_demo.py 报错。 是这个chatglm_cpp没有更新吗，今天刚安装的环境。

2023-11-22 21:07:14.770 Uncaught app exception Traceback (most recent call last): File "/root/ts/lib/python3.11/site-packages/streamlit/runtime/scriptrunner/script_runner.py", line 534, in _run_script exec(code, module.dict) File "/root/chatglm.cpp/examples/chatglm3_demo.py", line 71, in class Message(chatglm_cpp.ChatMessage): ^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: module 'chatglm_cpp' has no attribute 'ChatMessage'

[hfyydd]

运行这个chatglm3_demo.py 报错。 是这个chatglm_cpp没有更新吗，今天刚安装的环境。

2023-11-22 21:07:14.770 Uncaught app exception Traceback (most recent call last): File "/root/ts/lib/python3.11/site-packages/streamlit/runtime/scriptrunner/script_runner.py", line 534, in _run_script exec(code, module.dict) File "/root/chatglm.cpp/examples/chatglm3_demo.py", line 71, in class Message(chatglm_cpp.ChatMessage): ^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: module 'chatglm_cpp' has no attribute 'ChatMessage'

我也报这个错了 我看到ChatMessage 写到_C.pyi这个文件里了。

[li-plus]

可以先看看 chatglm-cpp 版本是否更新到 0.3.0：

pip show chatglm-cpp

然后在 examples 路径下执行（不要在 chatglm_cpp 根目录执行）：

python3 -c "import chatglm_cpp; chatglm_cpp.ChatMessage"

测试下是否有报错

[hfyydd]

应该是chatglm-cpp版本的问题 pip install -U chatglm-cpp 就ok了