search

datawhalechina / self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程
Apache License 2.0
6.08k stars 748 forks source link

llama3 langchain #163

Open Alexa2077 opened 2 weeks ago

Alexa2077 commented 2 weeks ago

在LLaMA3-8B-Instruct langchain中： 按步骤部署出现问题： RuntimeError: "triu_tril_cuda_template" not implemented for 'BFloat16'

KMnO4-zx commented 2 weeks ago

应该是你的显卡不支持bf16