Get messy words when run the inference

[cornleaf]

When inference command on cli: python src/infer_wizardlm13b.py --base_model=/root/workspace/models/WizardLM/WizardLM-13B-V1.0 --input_data_path=/root/workspace/WizardLM/WizardLM/data/WizardLM_testset1.jsonl --output_data_path=/root/workspace/test.txt

The lines in WizardLM_testset1.jsonl are: {"idx": 1, "Skill": "Math", "Difficulty": 1, "Instruction": "If a car travels 120 miles in 2 hours, what is its average speed in miles per hour?"} {"idx": 2, "Skill": "Math", "Difficulty": 3, "Instruction": "If x + y = z and x * y = z, then what is x - y = ?"} {"idx": 3, "Skill": "Math", "Difficulty": 3, "Instruction": "If 1 + 4 = 5, 2 + 5 = 12 and 3 + 6 = 21, then what is 8 + 11 = ?"}

The output in the test.txt file is chaos, what's the root cause ,any help is appreciated, thanks u!

{"id": 1, "instruction": "If a car travels 120 miles in 2 hours, what is its average speed in miles per hour?", "wizardlm-13b": "Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably weiteren\ufffd\ufffd\u5fd7Stats charact zus Probably"}

[WuNein]

same with me, fix by merge the llama-13b and the wizard weight