Open lslzl3000 opened 11 months ago
嗯,我正在写 M1/M2 的文章 & 准备一键包。
在使用标准化容器的路上,M1/M2 有非常多 trick 需要规避,原始路径不通的,性能比较值得期待的 MPS ,暂时也有问题,不过影响你贴的文章使用的路径。 @lslzl3000
有Mac Intel cpu 运行Chinese-Llama-2-7b-ggml-q4.bin webui docker吗?
有Mac Intel cpu 运行Chinese-Llama-2-7b-ggml-q4.bin webui docker吗?
intel 和 arm 镜像是兼容的,但是基本没法用,使用 intel 顶配 CPU 运行,目前效率极差...实在想 mac intel cpu 设备体验,试试 baby llama 或靠谱一些,走云服务..
遇到了同样的问题,请问有解决方案了么?🙏
参考 https://soulteary.com/2023/07/23/build-llama2-chinese-large-model-that-can-run-on-cpu.html 使用 Apple M2, 用最后的 docker
soulteary/llama2:runtime
运行Chinese-Llama-2-7b-ggml-q4.bin
是不支持 m2? 需要基于 arm 架构重新构建一个 docker 镜像?