[Correctness] Output incorrect on the baichuan2 model using scalellm.

[liutongxuan]

Model: baichuan2-7b-chat

Reproduce: python3 scalellm_run_data.py --input_file /data/dataset/Chatbot_group_10_2.json --model_dir=/data/baichuan2-7b --batch_size=1

Prompt: I don't want to tell the truth.

Outputs: Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg Hamburg

[guocuimi]

seems not reproducible in latest build. let's close it for now.