不能生成performance里面的结果

[greedyint]

您好, 我尝试运行了一下, 但是好像出不来中文问题的结果, 就好像lora没有运行一样, 我不知道为什么.

我发一下一些运行改动的参数和generate.py中生成那部份的代码: llama-7b lorapath: ./lora-Vicuna/checkpoint-final

newgeneration_config = GenerationConfig( temperature=0.1, top_p=0.75, top_k=40, num_beams=4, max_new_tokens=128, min_new_tokens=1, repetition_penalty=2.0, )

def evaluate2(instruction, input=None): prompt = generate_prompt(instruction, input) inputs = tokenizer(prompt, return_tensors="pt") input_ids = inputs["input_ids"].cuda() generation_output = model.generate( input_ids=input_ids, generation_config=newgeneration_config, return_dict_in_generate=True, output_scores=True, max_new_tokens=256 ) for s in generation_output.sequences: output = tokenizer.decode(s) print("Response:", output.split("### Response:")[1].strip())

for instruction in [ "Tell me about alpacas.", "能给我讲一段笑话吗", "我想和女朋友在北京约会，能推荐几个约会的地方吗", "为给定的地点提供一些旅游建议。\n地点:上海", "为给定的地点提供一些旅游建议。\n地点:北京", ]: print("Instruction:", instruction) print("Response:", evaluate2(instruction)) print()

[greedyint]

13B是可以出结果的....难道7B的根本不行吗?

[Facico]

你有不修改我们generate程序试过吗，我们绝大部分测试都是基于7B的，7B的lora模型肯定是没有问题的

[greedyint]

可以啦~~~