-
是语料的问题吗，qwen-7b-chat和baichuan2-7b-chat使用甄嬛数据集微调训练后，出现回答会有抵制性语言，具体表现在你骂它，他会反骂人。
-
HuatuoGPT-II 7B模型的模型文件大小为30G，而baichuan2 7B只有14G的文件大小，请问这是正常的么
-
>>> llm_lingua = PromptCompressor(model_name="Baichuan2-main/Baichuan2-7B-Chat", model_config=model_config)
>>> compressed_prompt = llm_lingua.compress_prompt(prompt, instruction="", question="", tar…
-
版本：
`Python 3.8
torch==2.0.1
transformers==4.30.2
peft==0.4.0
bitsandbytes==0.39.0`
config设置：
`
{
"output_dir": "mypath/trans-baichuan2-13b",
"model_name_or_path": "/mypath/Baichua…
-
test script: bigdl all-in-one/run-arc.sh
use model.half().to("xpu") instead of model.to("xpu")
input prompt: 2048 .txt
output 1024 token
32in/32out正常，到了2048in/1024out脚本直接卡住一小时，没有输出，具体如下
```
…
-
Baichuan 2 支持昇腾 NPU 推理，推理所需的modeling、README、示例脚本已发布：Baichuan2-7B、Baichuan2-13B中的Baichuan2-13B的gitee链接失效。请问可以去哪里找相关资料。
-
```
python3 build.py --model_version v2_7b \
--model_dir ./model_files/Baichuan2-7B-Chat \
--dtype float16 \
--use_gemm_plugin float16 \
--use_gpt_attention_plugin float16 \
…
-
250 class _open_file(_opener):
251 def __init__(self, name, mode):
--> 252 super().__init__(open(name, mode))
253
254 def __exit__(self, *args):
FileNotFoundErr…
-
使用A100(40GB)单机(8卡)基于baichuan-inc/Baichuan2-7B-Base进行全量微调，报错显存不足。可是已经将batch size设置为1。那么，baichuan-inc/Baichuan2-7B-Base 进行全量微调的最低配置是什么？求个解答。
-
我用Seq2SeqTrainer对Baichuan2-7B-Base进行LoRA微调，但是很奇怪，我发现在第一次预测后，会出现OOM问题，但是Baichuan2-7B-Chat并不会。
同时，我发现Baichuan2-7B-Base的OOM问题来源于，从预测回归训练后，模型好像会二次加载，使得显存占用翻倍从而OOM。
我对比了Base和Chat的modeling.py文件，发现主要是Base中…