search

lm-sys / FastChat

An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
Apache License 2.0
36.44k stars 4.49k forks source link

不更新了吗？ #3473

Open a1015498799 opened 1 month ago

a1015498799 commented 1 month ago

fastchat不更新对新模型的支持吗？

icowan commented 1 month ago

已经好久没有更新了

a1015498799 commented 1 month ago

已经好久没有更新了

感觉挺好用的，可惜了，那现在主要是用ollama吗

icowan commented 1 month ago

已经好久没有更新了

感觉挺好用的，可惜了，那现在主要是用ollama吗

我现在也还在用 fschat， 用的是 fschat起 vllm 只需要更新vllm 就行

a1015498799 commented 1 month ago

已经好久没有更新了

感觉挺好用的，可惜了，那现在主要是用ollama吗

我现在也还在用 fschat， 用的是 fschat起 vllm 只需要更新vllm 就行

新开源的模型的conv_template自己写适配吗

icowan commented 1 month ago

已经好久没有更新了

感觉挺好用的，可惜了，那现在主要是用ollama吗

我现在也还在用 fschat， 用的是 fschat起 vllm 只需要更新vllm 就行

新开源的模型的conv_template自己写适配吗

我这边是自己实现了openapi网关 template，直接怼worker就行。所以没啥影响

Pokemons386 commented 3 weeks ago

已经好久没有更新了

感觉挺好用的，可惜了，那现在主要是用ollama吗

我现在也还在用 fschat， 用的是 fschat起 vllm 只需要更新vllm 就行

vllm的worker 发请求总是500 error，是我的姿势不对吗

icowan commented 3 weeks ago

已经好久没有更新了

感觉挺好用的，可惜了，那现在主要是用ollama吗

我现在也还在用 fschat， 用的是 fschat起 vllm 只需要更新vllm 就行

vllm的worker 发请求总是500 error，是我的姿势不对吗

升级一下vllm版本试试，新模型的conv_template 需要自己实现。 我们现在就只用到的 controller 和 worker 模块，没有用上 openapi模块。

frank-thou commented 1 week ago

已经好久没有更新了

感觉挺好用的，可惜了，那现在主要是用ollama吗

我现在也还在用 fschat， 用的是 fschat起 vllm 只需要更新vllm 就行

vllm的worker 发请求总是500 error，是我的姿势不对吗

升级一下vllm版本试试，新模型的conv_template 需要自己实现。 我们现在就只用到的 controller 和 worker 模块，没有用上 openapi模块。

我在尝试用fschat调gemma的conv_template的时候也发现了这个问题 直接从fscaht里掉不出gemma的conv_template 调gemini的似乎也会有bug