can it be used to patch rocm hip library 5.7?

[lcweik]

I have tried in llama.cpp with hip 5.7, but i found that gpu mode is much slower than cpu mode, so is it any thing wrong?

这是哪个版本的rocm的补丁，5.7能用吗？

[likelovewant]

it is for 5.7 .The orignal code is here https://github.com/ROCm/rocBLAS , Maybe you could try to use https://lmstudio.ai/rocm for llama

windows 5.7版本， 运算逻辑和gfx1101 一样，只是修改了相关信息，设备号等 方便适配 gfx 1103，可以理解成 这本来就是 官方 未发布的 hip library

[lcweik]

it is for 5.7 .The orignal code is here https://github.com/ROCm/rocBLAS , Maybe you could try to use https://lmstudio.ai/rocm for llama

windows 5.7版本， 运算逻辑和gfx1101 一样，只是修改了相关信息，设备号等 方便适配 gfx 1103，可以理解成 这本来就是 官方 未发布的 hip library

大佬，看一下，我用LM STUDIO加载QWEN最小的模型，出现这个错误啊，我的电脑是yoga air14s 7840s "(Exit code: -36861). Unknown error. Try a different model and/or config."

{ "memory": { "ram_capacity": "27.82 GB", "ram_unused": "19.98 GB" }, "gpu": { "type": "AmdROCm", "vram_recommended_capacity": "42.73 GB", "vram_unused": "14.11 GB" }, "os": { "platform": "win32", "version": "10.0.22631", "supports_avx2": true }, "app": { "version": "0.2.16", "downloadsDir": "D:\code\ai\model" }, "model": {} }

[likelovewant]

我也试过会报错，然后把 rocm library 替换为自己的，roclabs.dll 替换掉。再试试。他这里有个单独的rocm ，和系统那个是独立的。 实在不行，尝试不用rocm 的版本，就是cpu 版，且cpu 版可以顺利加载，也可以使用显卡加速。然后不死心的话再切换回rocm版就可以加载了。不过不是很理想。需要在作者的discord 里面反应一下

[likelovewant]

所有的model 不可以直接扔进去model 文件里面，会不识别，可以试试在models文件下创建TheBloke/ Llama-2-7B-Chat-GGUF/文件夹，然后在这里面放置模型 需要是gguf格式，通义的没有测试过