dosubot[bot]
commented
7 months ago 嘿，@jxslykx！我们又见面了😜
根据你提供的信息，你遇到的问题可能是由于PyTorch版本与CUDA版本不兼容导致的。你的CUDA版本是12.4，但你已经将CUDA版本设置为11.8.0，这意味着你需要安装一个与CUDA 11.8兼容的PyTorch版本。
你可以尝试以下步骤来解决这个问题：
- 访问PyTorch的官方网站（https://pytorch.org/get-started/previous-versions/）。
- 在“PyTorch Build”部分选择“Stable”（稳定版）和你的操作系统。
- 在“CUDA”部分选择与你的CUDA版本（11.8）相匹配的选项。
- 根据网站提供的命令来安装或更新PyTorch。这通常涉及到运行一个
pip install或conda install命令。
例如，如果你使用的是pip和CUDA 11.8，安装命令可能类似于：
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118请注意，上述命令可能会根据PyTorch的最新版本和你的具体环境有所不同。务必根据PyTorch官网的指示进行操作。
此外，确保你的系统环境变量中包含了CUDA的路径，这样PyTorch才能正确地识别和使用CUDA。
如果在安装了正确版本的PyTorch之后仍然遇到问题，可能需要检查你的环境变量设置，或者重新安装CUDA Toolkit以确保所有组件都正确安装且版本兼容。
参考链接：
- configs/model_config.py.example
- 日志显示llm device和embedding device为cuda，但实际跑的时候显卡没吃到，全由cpu在运行。
- 求救，作者大佬推荐的CUDA版本没有适配的torch
- 出现Torch not compiled with CUDA enabled
- AssertionError: Torch not compiled with CUDA enabled
- cuda未正确安装
Sources
- 日志显示llm device和embedding device为cuda，但实际跑的时候显卡没吃到，全由cpu在运行。
- 求救，作者大佬推荐的CUDA版本没有适配的torch
- 出现Torch not compiled with CUDA enabled
- AssertionError: Torch not compiled with CUDA enabled
- cuda未正确安装
- configs/model_config.py.example
Sapphire025
GodHforever
yang1111-gif
我的电脑Win10 Driver Version: 551.76 CUDA Version: 12.4 安装cuda版本为11.8.0，将模型启动设置： "chatglm3-6b-32k": { "device": "cuda",
"device": "cpu",
重新运行时最后报错提示是：Torch not compiled with CUDA enabled
这是requirements.txt依赖包的信息： torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 xformers==0.0.23.post1 transformers==4.37.2 sentence_transformers==2.2.2 langchain==0.0.354 langchain-experimental==0.0.47 pydantic==1.10.13 fschat==0.2.35 openai==1.9.0 fastapi==0.109.0 sse_starlette==1.8.2 nltk==3.8.1 uvicorn>=0.27.0.post1 starlette==0.35.0 unstructured[all-docs] # ==0.11.8 python-magic-bin; sys_platform == 'win32' SQLAlchemy==2.0.25 faiss-cpu==1.7.4 accelerate==0.24.1 spacy==3.7.2 PyMuPDF==1.23.16 rapidocr_onnxruntime==1.3.8 requests==2.31.0 pathlib==1.0.1 pytest==7.4.3 numexpr==2.8.6 strsimpy==0.2.1 markdownify==0.11.6 tiktoken==0.5.2 tqdm==4.66.1 websockets==12.0 numpy==1.24.4 pandas==2.0.3 einops==0.7.0 transformers_stream_generator==0.0.4 vllm==0.2.7; sys_platform == "linux" llama-index==0.9.35
jq==1.6.0
beautifulsoup4==4.12.2
pysrt==1.1.2
dashscope==1.13.6 # qwen
volcengine==1.0.119 # fangzhou
uncomment libs if you want to use corresponding vector store
pymilvus==2.3.6
psycopg2==2.9.9
pgvector>=0.2.4
chromadb==0.4.13
flash-attn==2.4.2 # For Orion-14B-Chat and Qwen-14B-Chat
autoawq==0.1.8 # For Int4
rapidocr_paddle[gpu]==1.3.11 # gpu accelleration for ocr of pdf and image files
arxiv==2.1.0 youtube-search==2.1.2 duckduckgo-search==3.9.9 metaphor-python==0.1.23
streamlit==1.30.0 streamlit-option-menu==0.3.12 streamlit-antd-components==0.3.1 streamlit-chatbox==1.1.11 streamlit-modal==0.1.0 streamlit-aggrid==0.3.4.post3
httpx==0.26.0 httpx_sse==0.4.0 watchdog==3.0.0 pyjwt==2.8.0
我用cpu跑是没问题的，但是会很吃cpu，请问要怎么解决这个问题？