llmuses 0.3.2/最新代码 本地执行自带的数据集报错：浮点数例外

[jackqdldd]

python -m llmuses.run --model qwen/Qwen2-7B-Instruct --template-type qwen --datasets trivia_qa --dataset-hub Local --dataset-args '{"trivia_qa": {"local_path": "/root/eval-scope/data/trivia_qa"}}' --dataset-dir /root/eval-scope/data/

通过日志debug，发现是 output_ids = self.model.generate( input_ids=input_ids, attention_mask=attention_mask, generation_config=self.generation_config, stopping_criteria=stopping_criteria, ) 返回的错误

[slin000111]

用arc测试，未出现这个报错： wget https://modelscope.oss-cn-beijing.aliyuncs.com/open_data/benchmark/data.zip unzip data.zip python -m llmuses.run --model qwen/Qwen2-7B-Instruct --template-type qwen --datasets arc --dataset-hub Local --dataset-args '{"arc": {"local_path": "/mnt/workspace/data/arc"}}' --dataset-dir /mnt/workspace/data/arc

[jackqdldd]

trivia_qa 试下这个数据集呢

[jackqdldd]

llmuses 0.3.2 和0.4.0 执行本地数据集 都会有这个错误：浮点数例外