-
docker.io/nashsu/free_ask_internet:latest
docker.io/nashsu/free_ask_internet_ui:latest
yidadaa/chatgpt-next-web:latest
missuo/freegpt35:latest
vinlic/kimi-free-api:latest
vinlic/glm-free-api:late…
-
大佬，之前看到这个项目一直在测试模型，我这边目前使用的是llamacpp，因为有公司这边的服务器，所以是用cpu的，速度10t/s。公司内部用足够了。
知识库用到的模型：
Qwen2.5-14B:q4
bge-reranker-base
Dmeta-embedding-zh-small
大佬这是我这边使用的模型，不知道能不能改成使用cpu的，非常感谢。
# 后台启动 noh…
-
比如 baichuan-7b-v1 目前是限时免费的
{
"models": [
"qwen-long",
"qwen-turbo",
"qwen-plus",
"qwen-max",
…
-
Dear ZHO!
If I click on the activation button on https://dashscope.console.aliyun.com/, it does not work as described. It always redirects to www.alibabacloud.com.
I completed the registration pro…
-
```
llm_cfg = {
# Use the model service provided by DashScope:
'model': 'qwen-vl-max-0809',
#'api_key': 'YOUR_DASHSCOPE_API_KEY',
# It will use the `DASHSCOPE_API_KEY' environment…
-
# device information
```top 4.2.12(c)2024，Raffaello Bonghi [raffaello@rnext.itWebsite: https://rnext,it/jetson stats
Platform
Serial Number: [s|XX CLICK TO READ XXX]
Machine: aarch64
Hardware
Sy…
-
Because OpenAI Api was banned in CN, I use Qwen Api provided by Alibaba as my llm provider. But some errors occur in command line. Is the provider not good enough so that it cannot reason correctly?
…
-
I am using the qwen 72B model, and the specified --conv-template does not take effect. If the stop parameter is not specified when calling, the conversation will never end.
启动命令
```
CUDA_VISIBLE_…
-
## 第一步：创建一个名为 `docker-compose.yml` 的文件，并填入以下内容：
> 注意：
> 1. `YOUR_DASHSCOPE_API_KEY` 需要替换为你自己的[通义千问的 API Key](https://help.aliyun.com/zh/dashscope/opening-service?spm=a2c4g.11186623.0.0.72c2369dLpr…
-
使用该项目成功将tritonserver部署的qwen模型转为openai-compatible api，感谢！
但是openai_api.py的代码看不太懂，是用了agent调用了大模型嘛。