THUDM / ChatGLM-6B

ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型
Apache License 2.0
39.96k stars 5.15k forks source link

加入ZLUDA的适配让amdgpu可以在windows上使用chatglm[Feature] <title> #1457

Open zcq06 opened 4 months ago

zcq06 commented 4 months ago

Is your feature request related to a problem? Please describe.

ZLUDA可以在AMD GPU上以近乎原生的性能运行未经修改的CUDA应用程序,效率比linux上的rocm高且支持windows部署,目前SD.NET已经加入了ZLUDA的适配,我已经参考SD.NET的适配并尝试跑图,成功适配且效率极高,能不能加入适配可以让amdgpu在windows下使用chatglm,理论上是可行的

Solutions

https://github.com/vladmandic/automatic/commit/cc4438651f69973e055b63071bf1d0e3cc558eea https://github.com/vladmandic/automatic/wiki/ZLUDA

Additional context

https://github.com/vladmandic/automatic/commit/cc4438651f69973e055b63071bf1d0e3cc558eea https://github.com/vladmandic/automatic/wiki/ZLUDA