【SOS】运行cli_demo.py时出现了“A matching Triton is not available”，被卡在这了……

[helloworld-zhangqiang]

我在本地运行 cli_demo.py 时出现如下错误： init model ... A matching Triton is not available, some optimizations will not be enabled. Error caught was: DLL load failed while importing libtriton: 找不到指定的模块。

===========================

OS：Windows Model：Baichuan2-7B-Chat-4bits GPU：RTX 3060 Ti + CUDA 12.3 torch：2.1.0+cu121 triton：2.0.0 xformers：0.0.22.post7

===========================

下面是环境详细信息

PS C:\Users\smart> pip list
Package                       Version
----------------------------- ------------
bitsandbytes                  0.41.1
bitsandbytes-windows          0.37.5
torch                         2.1.0+cu121
torchaudio                    2.1.0+cu121
torchvision                   0.16.0+cu121
transformers                  4.35.2
transformers-stream-generator 0.0.4
triton                        2.0.0
xformers                      0.0.22.post7

PS C:\Users\smart> python -m xformers.info
A matching Triton is not available, some optimizations will not be enabled.
Error caught was: DLL load failed while importing libtriton: 找不到指定的模块。
xFormers 0.0.22.post7
memory_efficient_attention.cutlassF:               available
memory_efficient_attention.cutlassB:               available
memory_efficient_attention.decoderF:               available
memory_efficient_attention.flshattF@v2.3.2:        available
memory_efficient_attention.flshattB@v2.3.2:        available
memory_efficient_attention.smallkF:                available
memory_efficient_attention.smallkB:                available
memory_efficient_attention.tritonflashattF:        unavailable
memory_efficient_attention.tritonflashattB:        unavailable
memory_efficient_attention.triton_splitKF:         unavailable
indexing.scaled_index_addF:                        unavailable
indexing.scaled_index_addB:                        unavailable
indexing.index_select:                             unavailable
swiglu.dual_gemm_silu:                             available
swiglu.gemm_fused_operand_sum:                     available
swiglu.fused.p.cpp:                                available
is_triton_available:                               False
pytorch.version:                                   2.1.0+cu121
pytorch.cuda:                                      available
gpu.compute_capability:                            8.6
gpu.name:                                          NVIDIA GeForce RTX 3060 Ti
build.info:                                        available
build.cuda_version:                                1201
build.python_version:                              3.10.11
build.torch_version:                               2.1.0+cu121
build.env.TORCH_CUDA_ARCH_LIST:                    5.0+PTX 6.0 6.1 7.0 7.5 8.0+PTX 9.0
build.env.XFORMERS_BUILD_TYPE:                     Release
build.env.XFORMERS_ENABLE_DEBUG_ASSERTIONS:        None
build.env.NVCC_FLAGS:                              None
build.env.XFORMERS_PACKAGE_FROM:                   wheel-v0.0.22.post7
build.nvcc_version:                                12.1.66
source.privacy:                                    open source

PS C:\Users\smart> nvidia-smi
Sat Nov 18 10:04:26 2023
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 546.17                 Driver Version: 546.17       CUDA Version: 12.3     |
|-----------------------------------------+----------------------+----------------------+

[zRzRzRzRzRzRzR]

xformers有问题 windows 下没有triton 但是 xformers需要用到triton做优化 可以试试这个行不行 链接 这个issue或许也能帮到你 issue 我建议你用虚拟环境。 如果还是不行，尝试降低一点点xformer试试？

[helloworld-zhangqiang]

xformers有问题 windows 下没有triton 但是 xformers需要用到triton做优化 可以试试这个行不行 链接 这个issue或许也能帮到你 issue 我建议你用虚拟环境。 如果还是不行，尝试降低一点点xformer试试？

嗯，我先试一试降低一下 xformers 试试，若还不行，我可能就先不在 windows 下折腾了，到 Linux 上再试一试，非常感谢。 @zRzRzRzRzRzRzR

[akemimadoka]

在这里记录一下这边解决的方法：通过 Dependencies 查看 site-packages\triton\_C\libtriton.pyd 可知缺少 zlib.dll，复制此 dll 到 libtriton.pyd 同一路径下解决

[shirubei]

感谢楼上的方案，附件这个可以用。

zlib.zip

[theoldsong]

在这里记录一下这边解决的方法：通过 Dependencies 查看 site-packages\triton\_C\libtriton.pyd 可知缺少 zlib.dll，复制此 dll 到 libtriton.pyd 同一路径下解决

同样的问题，复制了这个dll，还是一样的报错。