输出到 <|Commands|> 后便停止运行了

[linonetwo]

复现：https://github.com/linonetwo/MOSS-DockerFile/blob/master/moss_web_demo_gradio.py

[xiami2019]

普通对话建议使用moss-moon-003-sft及其量化版本，使用moss-moon-003-sft-plugin需要单独部署工具服务，比如这里需要拿Commands的内容去调用搜索引擎工具，得到返回结果后与前面的历史拼接作为输入继续生成，可以参考Readme中sft-plugin模型的推理步骤。

[linonetwo]

@xiami2019 单独部署工具服务 ，这是指什么？我可以一起加到这个 docker 里去

[xiami2019]

比如这里Commands生成了一个Search的API调用，需要接一个搜索引擎去来返回query的结果

[linonetwo]

@xiami2019 这个我当然知道…我是指源码或包在哪呢

[xiami2019]

搜索的工具可以参考这里https://github.com/OpenLMLab/MOSS_WebSearchTool，其它工具暂时还没有开源

[linonetwo]

这个也缺乏文档，不确定如何部署，还是等你们补齐文档再用吧，不然适配太花时间了

[xiami2019]

感谢支持，您可以拉一个PR，把您的项目链接更新到Readme中的友情链接部分~

[yhyu13]

感谢支持，您可以拉一个PR，把您的项目链接更新到Readme中的友情链接部分~

加油