search

THUDM / SwissArmyTransformer

SwissArmyTransformer is a flexible and powerful library to develop your own Transformer variants.
https://THUDM.github.io/SwissArmyTransformer
Apache License 2.0
951 stars 90 forks source link

SwissArmyTransformer可以读bin权重文件吗？visualglm-6b项目里就没见pt文件，只有bin。难以微调 #157

Closed qq577288254 closed 6 months ago

1049451037 commented 7 months ago

运行visualglm-6b微调的代码自动会下载pt。

qq577288254 commented 7 months ago

感谢回答，但是14.4Gvisualglm-6b.zip太大，这几天试了每次下到了200Mb以内就报错断开连接 SSLError: SSL validation failed for https://c8a00746a80e06c4632028e37de24d6e.r2.cloudflarestorage.com/sat/visualglm-6b.zip TLS/SSL connection has been closed 所以想了解SwissArmyTransformer是否有读取bin的功能，或者有transformer读取bin再转成SwissArmyTransformer的功能

1049451037 commented 7 months ago

无法转换，因为两者的参数名字和格式不同。huggingface里的bin只能用来inference，不能训练（或者你也可以自己实现对应的训练代码）。

刚刚上传了一下国内镜像，试一下从这里下载：https://www.wisemodel.cn/models/ZhipuAI/VisualGLM-6B-SAT/file

qq577288254 commented 7 months ago

爱了~真诚感谢Thanks♪(･ω･)ﾉ

chenchen333-dev commented 5 months ago

无法转换，因为两者的参数名字和格式不同。huggingface里的bin只能用来inference，不能训练（或者你也可以自己实现对应的训练代码）。

刚刚上传了一下国内镜像，试一下从这里下载：https://www.wisemodel.cn/models/ZhipuAI/VisualGLM-6B-SAT/file

好像下载不了