ubuntu系统下无法运行

[whc688]

RWKV-Runner 版本1.5.8 ubuntu系统 显卡4090 使用 conda 创建环境，并对python 路径进行设定：/home/miniconda3/envs/RWKV/bin/python3

当启用 ‘使用自定义CUDA算子加速’ 时，点击运行显示： 切换模型失败 - 自定义CUDA算子开启失败，需要安装Ninja来读取C++扩展。你可能正在使用CPU版本的PyTorch，请重新安装CUDA版本的PyTorch。如果你正在使用自定义Python解释器，你必须自己编译CUDA算子或禁用自定义CUDA算子加速

因此我关闭 ‘使用自定义CUDA算子加速’，点击运行显示： 切换模型失败 - {"detail":"failed to load: The following operation failed in the TorchScript interpreter.\nTraceback of TorchScript (most recent call last):\n File \"/home/kemove/RWKV/backend-python/rwkv_pip/model.py\", line 1039, in att_seq\n rx = xx r_mix + sx (1 - r_mix)\n \n r = torch.sigmoid(matmul(rx, rw, rmx, rrx, rmy, rry))\n ~~ <--- HERE\n k = matmul(kx, kw, kmx, krx, kmy, kry, output_dtype=torch.float32)\n v = matmul(vx, vw, vmx, vrx, vmy, vry, output_dtype=torch.float32)\n File \"/home/kemove/RWKV/backend-python/rwkv_pip/model.py\", line 247, in matmul\n assert my is not None\n assert ry is not None\n return mm8(a, b, mx, rx, my, ry).to(output_dtype)\n ~ <--- HERE\n else:\n raise ValueError(\"Unsupported dtype\")\n File \"/home/kemove/RWKV/backend-python/rwkv_pip/model.py\", line 225, in mm8\n if len(x.shape) == 1:\n return mm8_one(x, w, mx, rx, my, ry)\n return mm8_seq(x, w, mx, rx, my, ry)\n ~~~ <--- HERE\n File \"/home/kemove/RWKV/backend-python/rwkv_pip/model.py\", line 208, in mm8_seq\n @MyStatic\n def mm8_seq(x, w, mx, rx, my, ry):\n return torch_mm8_seq(x, w, mx, rx, my, ry)\n ~~~ <--- HERE\n File \"/home/kemove/RWKV/backend-python/rwkv_pip/model.py\", line 178, in torch_mm8_seq\n@MyStatic\ndef torch_mm8_seq(x, w, mx, rx, my, ry):\n return x @ ((w.to(dtype=x.dtype) + 0.5) ry rx + my + mx)\n ~~~~~~~~~~~~ <--- HERE\nRuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling cublasGemmEx( handle, opa, opb, m, n, k, &falpha, a, CUDA_R_16F, lda, b, CUDA_R_16F, ldb, &fbeta, c, CUDA_R_16F, ldc, CUDA_R_32F, CUBLAS_GEMM_DFALT_TENSOR_OP)\n"}

请问该如何解决？

[josStorer]

给个所用配置的截图 (软件的配置页面), 使用的是什么模型

[whc688]

配置我没修改过 使用的是： RWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096

[EchoJJ51]

切换模型失败 - 自定义CUDA算子开启失败，需要安装Ninja来读取C++扩展。你可能正在使用CPU版本的PyTorch，请重新安装CUDA版本的PyTorch。如果你正在使用自定义Python解释器，你必须自己编译CUDA算子或禁用自定义CUDA算子加速 我感觉我的问题和你的差不多，你有解决吗