search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.33k stars 341 forks source link

error: no suitable user-defined conversion from "__half" to "__nv_bfloat16" exists #493

Open xiaoshizijiayou opened 1 month ago

xiaoshizijiayou commented 1 month ago

fastllm/src/devices/cuda/fastllm-cuda.cu(485): error: no suitable user-defined conversion from "half" to "nv_bfloat16" exists b[idx] = hmul(hdiv(x, hadd(float2half(1.0), hexp(-x))), y); 拉取最新的代码，编译报这个错，之前编译的时候没遇到过，如何解决？

-DCUDA_NO_TENSOR_CORE=ON，编译的时候加上这个参数不报错了，这个参数有什么作用，请解释下