dandelionsllm / pandallm

Panda项目是于2023年5月启动的开源海外中文大语言模型项目,致力于大模型时代探索整个技术栈,旨在推动中文自然语言处理领域的创新和合作。
Apache License 2.0
1.07k stars 91 forks source link

模型合并后的MD5? #13

Closed hejujie closed 1 year ago

hejujie commented 1 year ago

想问下有模型合并后的MD5吗?我想确认一下模型合并是否正常,在huggingface上似乎没看到这个。 我这边在llama-panda-zh-coig-7b上合并的结果是这样的:

880c59f7618832454595e9820960c360  ./added_tokens.json
ab9ad2325a7b95764d9c331a06b2b2b4  ./config.json
5825c9024ce3b157c0f53f21d2c9572e  ./generation_config.json
a5fee69b7d2b6cda6a97e60d82889b3f  ./pytorch_model-00001-of-00003.bin
ab88eb988f07d05c2f4524d6ea48c0b7  ./pytorch_model-00002-of-00003.bin
56989677050a9e6cf6b7322be15af592  ./pytorch_model-00003-of-00003.bin
7baf65cb7acd559707594e7d501817af  ./pytorch_model.bin.index.json
7bd5a6f1c9b3ffc0d36687bf77aa6967  ./special_tokens_map.json
eeec4125e9c7560836b4873b6f8e3025  ./tokenizer.model
ed59bfee4e87b9193fea5897d610ab24  ./tokenizer_config.json
SparkJiao commented 1 year ago

sorry我们目前没准备md5 后面我自己试试看看是否更新上去

我自己试过正常用脚本合并的话输出是正常的 所以可以先测试一下看看