search

OpenBMB / MiniCPM

MiniCPM3-4B: An edge-side LLM that surpasses GPT-3.5-Turbo.
Apache License 2.0
7.16k stars 458 forks source link

[Feature Request]: 工具调用可以支持openai 的api function call吗 #239

Open lonngxiang opened 2 months ago

lonngxiang commented 2 months ago

Feature request / 功能建议

看现在支持transformers的 function call

LDLINGLINGLING commented 2 months ago

可以的，教程里给出了如何使用vllm的api进行function call https://modelbest.feishu.cn/wiki/ARJtwko3gisbw5kdPiDcDIOvnGg?from=from_copylink

lonngxiang commented 2 months ago

可以的，教程里给出了如何使用vllm的api进行function call https://modelbest.feishu.cn/wiki/ARJtwko3gisbw5kdPiDcDIOvnGg?from=from_copylink

但这例子不是用的transformers的 function call吗？不是opeanai的接口，opeanai的接口是不需要再单独加载tokenizer的 image

LDLINGLINGLING commented 2 months ago

你好，tokenizer仅仅是在做数据处理，如果你不想加载tokenizer就按照tokenizer的方式进行数据处理，再调用api即可

lonngxiang commented 2 months ago

你好，tokenizer仅仅是在做数据处理，如果你不想加载tokenizer就按照tokenizer的方式进行数据处理，再调用api即可

或者tokenizer也可以提供成api服务？最终还是希望能直接openai tools使用

image

lonngxiang commented 2 months ago

你好，tokenizer仅仅是在做数据处理，如果你不想加载tokenizer就按照tokenizer的方式进行数据处理，再调用api即可 像这个例子是支持的 https://docs.vllm.ai/en/latest/getting_started/examples/openai_chat_completion_client_with_tools.html

lonngxiang commented 2 months ago

看现在qwen2.5 用vllm推理后支持https://qwenlm.github.io/zh/blog/qwen2.5/

Cppowboy commented 2 months ago

可以使用https://github.com/OpenBMB/MiniCPM/blob/main/demo/minicpm3/function_call/openai_api_server.py 来启动一个支持function call的vllm server

lonngxiang commented 2 months ago

可以使用https://github.com/OpenBMB/MiniCPM/blob/main/demo/minicpm3/function_call/openai_api_server.py 来启动一个支持function call的vllm server

有运行，但这边使用案例还额外需要加载transformers tokenizer去调用function的