ModuleNotFoundError: No module named 'ftllm'

[mingyue0094]

In [1]: from ftllm import llm
---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
Cell In[1], line 1
----> 1 from ftllm import llm

ModuleNotFoundError: No module named 'ftllm'

In [2]:

In [2]: pip install ftllm
Looking in indexes: https://mirrors.aliyun.com/pypi/simple
ERROR: Could not find a version that satisfies the requirement ftllm (from versions: none)
ERROR: No matching distribution found for ftllm
Note: you may need to restart the kernel to use updated packages.

In [3]:

---

ftllm 模块要通过什么方式安装？

[ztxz16]

In [1]: from ftllm import llm
---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
Cell In[1], line 1
----> 1 from ftllm import llm

ModuleNotFoundError: No module named 'ftllm'

In [2]:

In [2]: pip install ftllm
Looking in indexes: https://mirrors.aliyun.com/pypi/simple
ERROR: Could not find a version that satisfies the requirement ftllm (from versions: none)
ERROR: No matching distribution found for ftllm
Note: you may need to restart the kernel to use updated packages.

In [3]:

ftllm 模块要通过什么方式安装？

暂时只能通过代码安装（clone之后install.sh, 参见主页说明）

[mingyue0094]

那就好麻烦。看里面还有编译。编译后，才进行安装，代码还是 linux的。 win10。 就会极大可能，折腾很久，然后又安装失败。 上手难度太高了。不试了。

[mingyue0094]

有linux 环境，就用 vllm 了，我是不想换linux系统，也不想用wsl方式，所以找看看有那个项目可以对llm进行加速的。然后找到这个项目，看调用代码和转换模型格式，还比较容易。卡在模块安装步骤，看情况，也是比较复杂。还是决定不用了。

[mingyue0094]

模块安装部分，如果能pip 安装或者 pip 从git网址，能直接安装成功，那上手难度就低很多。 主页说明，加个安装模块说明，一般人都可以用了。 不过，感觉好像比较难，要考虑 cuda那些东西。