search

wdndev / llama3-from-scratch-zh

从零实现一个 llama3 中文版
MIT License
242 stars 27 forks source link

Error: Incorrect padding #5

Open virus188 opened 2 weeks ago

virus188 commented 2 weeks ago

ERROR in the tokenizer Cell

wdndev commented 1 week ago

你可以试试这个：https://colab.research.google.com/drive/11MQb8Bn4Ck707VEcqqGVdytqOk3OrQQK?usp=sharing 直接运行就行，需要去外网

shenyewei commented 1 week ago

但是为什么本地就报错， Incorrect padding

wdndev commented 1 week ago

检查一下是不是tiktoken版本的问题，我暂时没有遇到