-
Good afternoon,
I have refactored the code for MathBlackBox to be a Jupyter notebook. It requires you put in your own API key, by default it uses DeepSeek V2 Coder, although I cannot guarantee func…
-
-
I run the official code example in `intro.ipynb`：
```python
import dspy
lm = dspy.LM(model='openai/default', api_key=" ", api_base=" ",temperature=0.9, max_tokens=3000,)
colbertv2_wiki17_abstrac…
-
### Feature request
Hi! I’ve been researching LLM quantization recently ([this paper](https://arxiv.org/abs/2405.14852)), and noticed a potentially improtant issue that arises when using LLMs with 1-…
-
你好，感谢对于社区的贡献。
我有一些关于模型许可证的问题，希望得到你们的答复。同时也希望能够模型许可证向你们提供一些建议，以促进该模型更好被采用。
1.我看到这里要求商用（一般认为商用的范围非常大）需要登记。我想确认下，这里的登记是指填写信息即可，不必等到回复，还是说必须等到收到贵方提供的允许商用许可证？
2.收到的允许商用的许可证中的具体要求与当前模型license文件的要求不是一致的，此…
-
### 🥰 需求描述
能否实现自定义添加同一个接口类型的多个api服务提供商， 现在可以配置每个模型接口ai代理服务地址，但是每种类型的接口只能配置一个，比如openai接口类型的模型，只能设置一个代理地址，实际使用中，可以购买了从不同的服务器提供的openai模型，希望能够自定义添加每种模型，多个服务提供商
### 🧐 解决方案
现在可以配置每个模型接口ai代理服务地址，但是每种类型的接口…
-
在ai rag的最后一步还是获取数据库的内容然后再调用对话模型输出,这里啥时候能支持自定义json结构然后在填充输出
-
### Reminder
- [X] I have read the README and searched the existing issues.
### System Info
transformers==4.45.0.dev0
torch-npu==2.1.0.post3
### Reproduction
在npu上进行qwen2-vl-7b推理时，模型的回答质量差。例如：
…
msqp updated
2 months ago
-
### Describe the bug
xinference启动自定义模型qwen2，接入oneapi中转，接入fastgpt应用，问答正常，在使用工具调用时，对话输出了**部分思考过程**，属于是多余的内容。
![image](https://github.com/xorbitsai/inference/assets/48248936/be02c3c3-398b-48f4-9ada-0…
-
`evalscope perf --url 'http://localhost:8082/v1/chat/completions' --parallel 128 --model 'qwen' --log-every-n-query 10 --read-timeout=120 -n 1 --max-prompt-length 128000 --api openai --stream --stop '…