Open thewangcj opened 2 months ago
wangxingjun778
commented
2 months ago 指定data.zip里的数据作为评测数据，应该是本地模式才生效，需要指定：--dataset-hub Local
参考readme中给到的示例如下： python llmuses/run.py --model ZhipuAI/chatglm3-6b --datasets arc --dataset-hub Local --dataset-dir /path/to/workdir/data --limit 10
Double-bear
commented
2 months ago 指定data.zip里的数据作为评测数据，应该是本地模式才生效，需要指定：--dataset-hub Local
参考readme中给到的示例如下： python llmuses/run.py --model ZhipuAI/chatglm3-6b --datasets arc --dataset-hub Local --dataset-dir /path/to/workdir/data --limit 10
你好，指定了--dataset-hub Local也不对，需要手动修改
betasspace
commented
1 month ago 目录指定确实不好用，特别是ceval这种包含子目录的，简直炸裂，不改地址就空等，改地址就说地址错误 但arc是可以用的
https://modelscope.oss-cn-beijing.aliyuncs.com/open_data/benchmark/data.zip 解压后 ceval 的路径为 data/ceval，而 ceval_adapter 中加载的路径为 data/modelscope/ceval-exam，需要手动修改才能正常加载本地数据集。 建议更新托管数据集。