search

OrionStarAI / Orion

Orion-14B is a family of models includes a 14B foundation LLM, and a series of models: a chat model, a long context model, a quantized model, a RAG fine-tuned model, and an Agent fine-tuned model. Orion-14B 系列模型包括一个具有140亿参数的多语言基座大模型以及一系列相关的衍生模型，包括对话模型，长文本模型，量化模型，RAG微调模型，Agent微调模型等。
Apache License 2.0
785 stars 57 forks source link

可以绕过flash-attn库进行运行吗 #24

Open Nand-Lu opened 9 months ago

Nand-Lu commented 9 months ago

使用的linux系统，T4卡，安装不上flash-attn库，可以绕过flash-attn库进行运行吗

yecphaha commented 9 months ago

使用的linux系统，T4卡，安装不上flash-attn库，可以绕过flash-attn库进行运行吗

安装flash_attn的问题 答：先安装对应版本的cuda-nvcc，https://anaconda.org/nvidia/cuda-nvcc 再安装flash_attn，https://github.com/Dao-AILab/flash-attention/releases/ pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.3.3/flash_attn-2.3.3+cu122torch2.1cxx11abiFALSE-cp38-cp38-linux_x86_64.whl

chenxingphh commented 9 months ago

使用的linux系统，T4卡，安装不上flash-attn库，可以绕过flash-attn库进行运行吗

感谢关注。目前是需要安装flash-attn

a0c5a5d commented 9 months ago

使用mac系统，m2芯片，同样遇到该问题，安装不了flash-attn，是否能够直接绕过flash-attn库运行

xuleichao commented 9 months ago

使用的linux系统，T4卡，安装不上flash-attn库，可以绕过flash-attn库进行运行吗

感谢反馈！ 可以使用下面这种方式来绕过 flash-attn. 我这边是ok的 https://huggingface.co/microsoft/phi-1_5/discussions/72

a0c5a5d commented 9 months ago

Hello, I have received your email. I will deal with it within two days after I see it. (auto reply)