-
we hit our stretch goal for persona!
this issue will document the progress
- [Framework](#framework)
- [Session](#session)
- [Pipeline](#pipeline)
- [Solvers](#solvers)
- [Server](#server)
…
-
This project got my interest and wanted to give it a shot. Was attempting the getting started docker example and ran into issues:
**LocalAI version:**
Latest image
**Environment, CPU architectu…
-
在使用MMCU的数据集的时候，发现有很多题是多选题，请问这种情况下是选对一个就算对，还是需要全选对？
当前代码里使用
```
if label in pred：
```
来判断是否正确，会不会对多选题造成误判。
参考HELM中对MMLU的处理，只需要选对一个即可。
感谢！
-
`deepspeed --num_gpus 4 bloom-inference-scripts/bloom-ds-zero-inference.py --name /raid/data/richardwang/bloomz --cpu_offload` worked and gave me inference output. `/raid/data/richardwang/bloomz` is a…
-
### System Info
transformers==4.34.0
torch ==1.13.1
peft==0.5.0
accelerate==0.23.0
### Who can help?
@pacman100 @younesbelkada @sayakpaul @stevhliu @MKhalusova
### Information
- [X…
-
-
> 注：本文大段摘抄自 [^2]
**图1：大模型进化树**[^1]
## 0x00 大模型微调
在预训练后，大模型可以获得解决各种任务的通用能力。然而，越来越多的研究表明，大语言模型的能力可以根据特定目标进一步调整。
这就是微调技术，目前主要有两种微调大模型的方法[^2]：
1. 指令微调，目标是增强（或解锁）大语言模型的能力。
2. 对齐微调，目标是将大…
-
QianfanChatModel.builder().modelName("ERNIE-Speed-8K").temperature(0.7).topP(1.0).maxRetries(1)
.apiKey(apiKey)
.secretKey(secretKey)
.build();
---------
Err…
-
Running LLaMA Efficient Tuning PPO scripts to train a only 560M llm with deepspeed on A100*1(Only for testing the pipeline). Without deepspeed, the code runs fine, while getting unexpected error with …
-
v100 qwen模型
dpo训练后模型输出一直重复，还出各种乱码及其他语种的东西
数据使用的comparison_gpt4和oaast_rm