search

THUDM / ChatGLM3

ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型
Apache License 2.0
13.39k stars 1.55k forks source link

ChatGLM3分词器的model.vocab能不能提供一下 #1184

Closed CNUIGB closed 5 months ago

CNUIGB commented 5 months ago

Feature request / 功能建议

ChatGLM3分词器的model.vocab能不能提供一下

Motivation / 动机

我最近在用自己的语料库训练分词器，想看看GLM用的通用语料的分词结果和我专业语料库的分词结果差多少

Your contribution / 您的贡献

无

zRzRzRzRzRzRzR commented 5 months ago

无法提供