Explicitly passing a revision is encouraged when loading a model with custom code to ensure no malicious code has been contributed in a newer revision.
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:32<00:00, 4.67s/it]
6.765336513519287, responses=你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 0.16500820764681187s/token
1.5385632514953613, responses=你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 0.0375259329633015s/token
1.5410957336425781, responses=你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 0.037587700820550685s/token
1.5482840538024902, responses=你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 0.03776302570249976s/token
1.5544860363006592, responses=你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 0.03791429356830876s/token
python代码直接加载模型调用![image](https://github.com/ztxz16/fastllm/assets/35361034/e1ffbd23-2f2a-4f5d-8f82-e75c391feb36)
Explicitly passing a
revision
is encouraged when loading a model with custom code to ensure no malicious code has been contributed in a newer revision. Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:32<00:00, 4.67s/it] 6.765336513519287, responses=你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 0.16500820764681187s/token 1.5385632514953613, responses=你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 0.0375259329633015s/token 1.5410957336425781, responses=你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 0.037587700820550685s/token 1.5482840538024902, responses=你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 0.03776302570249976s/token 1.5544860363006592, responses=你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。 0.03791429356830876s/token导出flm模型
python3 tools/chatglm_export.py chatglm2-6b-int4.flm int4
修改脚本 ,统计生成速度
from fastllm_pytools import llm import time def args_parser(): parser = argparse.ArgumentParser(description = 'fastllm_chat_demo') parser.add_argument('-p', '--path', type = str, required = True, default = '', help = '模型文件的路径') args = parser.parse_args() return args
if name == "main": args = args_parser() model = llm.model(args.path)