Open starevelyn opened 1 year ago
有没有完整示例教程之类的。。
请问找到解决方法了吗
应该使用这个库进行评测:https://github.com/EleutherAI/lm-evaluation-harness
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
cd lm-evaluation-harness/
pip install -e .
评测脚本:
python main.py --model hf-causal-experimental \
--model_args pretrained=/path/to/model \
--tasks Ceval-valid-computer_network \
--device cuda:0
要是想评测用自己数据训练过的llama-7b模型,命令行是 torchrun --nproc_per_node 8 code/evaluator_series/eval_llama.py --ckpt_dir [PATH TO CKPT] --param_size 7 --few_shot --cot --ntrain 5 --subject [SUBJECT NAME]
然后报错: 是要在命令行参数里面加local_rank, world_size这些吗