Closed cdliang11 closed 2 months ago
问题定位到了,https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct 这个仓库下,tokener_config.json 中显示使用的是PreTrainedTokenizerFast, 是标准的huggingface tokenzier, 而llm_export.py 中因为检测到模型文件夹中存在tokenizer.model文件,因此认为是sentencepiece格式。
报错的原因:llama3-8b原始模型是tiktoken格式,https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct 这个仓库转为了huggingface 格式,但没有删除tokenizer.model 😮💨
模型:https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct