search

DLLXW / baby-llama2-chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
MIT License
2.34k stars 288 forks source link

chatglm_tokenizer 模块是在哪个软件包中？ #75

Open PANASV opened 2 months ago

PANASV commented 2 months ago

data_process.py中，导入函数库时在下面这行： from chatglm_tokenizer.tokenization_chatglm import ChatGLMTokenizer

出现以下错误：

----> 5 from chatglm_tokenizer.tokenization_chatglm import ChatGLMTokenizer 6 import pandas as pd 7 # from zhconv import convert

ModuleNotFoundError: No module named 'chatglm_tokenizer'

请问chatglm_tokenizer 模块是在哪个软件包中？

buhe commented 1 month ago

有同名文件夹，python不光可以加载包也可以加载文件夹

bingqianliu2017 commented 1 week ago

在chatglm_tokenizer这个文件夹下的子python文件