Closed GolfHotelSierra closed 2 weeks ago
直接用 internlm2-chat 试下,应该就是你要的。
直接用 internlm2-chat 试下,应该就是你要的。
谢谢您的回答,internlm2-chat
确实也满足需求了
不过我又测试了一些微调后的模型,同样参数设置下,xinference的推理结果也会出现比较明显的下降
因为我也想用xinference部署一些微调后的模型然后使用langchain进行开发,所以可能还是需要解决这个问题,您知道这个问题可能是什么造成的吗?
model family 那里写 internlm2-chat 试下
model family 那里写 internlm2-chat 试下
我将 model_family
修改为了 "model_family": "internlm2-chat"
,并且 model_ability
修改为了 "model_ability": ["generate", "chat"]
,但是推理结果并没有发生变化,推理结果也还是会低于 transformers
库部署后推理的结果
我发现langchain的xinference就没有实现chat,都是generate,所以对话能力很弱
This issue is stale because it has been open for 7 days with no activity.
This issue was closed because it has been inactive for 5 days since being marked as stale.
问题描述
LangChain
使用,所以使用了langchain_community.llms.xinference
下的Xinference
if name == 'main':
test_xinference
对中文给出了空回答
对英文给出的回答不太符合一般模型的介绍
I'm a new member here. :D
对中文给出了空回答
对英文给出的回答与问题相关度很低
I'm [b]usernameyourself[/b]. Pleased to meet ya!
中文回答
你好,我是 InternLM (书生·浦语),是上海人工智能实验室开发的一款语言模型。我可以理解并回答你的问题。
英文回答
Hi, I'm InternLM (书生·浦语), a conversational language model developed by Shanghai AI Laboratory (上海人工智能实验室). How can I assist you today?
langchain 0.1.13 langchain-community 0.0.29 langchain-core 0.1.33 xinference 0.9.4
疑问
LangChain
中的 Xinference 有一些不同的参数设置,或是版本问题?或者可能在自定义部署中有一些参数设置不正确?