13b的结果,很奇怪

[frog-game]

我的python start.py代码

import torch
import sys
from transformers import AutoTokenizer, AutoModelForCausalLM, LlamaForCausalLM
import os

model_path = "/root/vicuna-13B"
model = LlamaForCausalLM.from_pretrained(
    model_path, device_map='auto', low_cpu_mem_usage=True)
tokenizer = AutoTokenizer.from_pretrained(model_path)

print('Human:')
line = input().strip()

while line:
    batch = tokenizer(line, return_tensors="pt")
    print('\n\nAssistant:' + tokenizer.decode(model.generate(batch["input_ids"].cuda(
    ), do_sample=True, max_new_tokens=100, top_p=1.0, temperature=1.0)[0]))
    print("\n------------------------------------------------\nHuman:")
    line = input().strip()

这是用原始权重llama-13B-hf 和up主差异化版本llama-panda-zh-13b-delta 合并后的权重vicuna-13B

这是结果

[SparkJiao]

为什么用13B的权重和7B的模型合并？是否说错了？

关于13B的模型，目前他没经过instruction tuning，所以无法对指令做出合理的反馈会比较正常，可以等几天在COIG上微调的权重release后再尝试。

[frog-game]

为什么用13B的权重和7B的模型合并？是否说错了？

关于13B的模型，目前他没经过instruction tuning，所以无法对指令做出合理的反馈会比较正常，可以等几天在COIG上微调的权重release后再尝试。

用的是up主13B的差异模型，和13B HF的原始权重合并的 并没有7B呢

[frog-game]

为什么用13B的权重和7B的模型合并？是否说错了？

关于13B的模型，目前他没经过instruction tuning，所以无法对指令做出合理的反馈会比较正常，可以等几天在COIG上微调的权重release后再尝试。

上面是up主早上放出13B链接,我下午就试验的结果

[frog-game]

这个地方刚打错字了，刚修改成13B了

[SparkJiao]

可以尝试问答类的指令 并且给比较详细的上下文 如果你比较期望测试他的知识能力 对于“唱首歌”这种问题可以不用问的 不可能回答出来的 我们完全没用到相关的数据 COIG中包含的数据主要是问答 语文阅读理解考试 翻译 LeetCode 我们之后会把Alpaca-GPT4的数据加进去 那个时候可以测一些闲聊的和更简短的instruction

[frog-game]

可以尝试问答类的指令 并且给比较详细的上下文 如果你比较期望测试他的知识能力 对于“唱首歌”这种问题可以不用问的 不可能回答出来的 我们完全没用到相关的数据 COIG中包含的数据主要是问答 语文阅读理解考试 翻译 LeetCode 我们之后会把Alpaca-GPT4的数据加进去 那个时候可以测一些闲聊的和更剪短的instruction

up主的问答主要是那些知识块的，比如我问李白是谁 ,李白有哪些诗句这些能问吗

[SparkJiao]

能问 可以再试试别的

[SparkJiao]

@frog-game Hi, 13B经过COIG微调的权重已发布，可以试用并给一些反馈，感谢。