-
我git clone bmtrain 0.2.2版本的代码,用bmtrain_qlora目录替换BMTrain中的bmtrain文件夹,然后进行python setup.py develop操作。测试的时候结果报错
>>> import bmtrain
Traceback (most recent call last):
File "", line 1, in
File "/wo…
-
环境:
ubuntu server 22.04
conda python 3.10.0
nvidia driver 12.1.0
尝试一:
`pip install -r requirements.txt`
报错:
```
Collecting torch=1.10
Using cached torch-1.13.1-cp310-cp310-manylinux1_x8…
-
如题
Please, spend time cleaning the code, DS team!!! The code is really hard to modify!!!!
-
do you have method besides 'pip install bmtrain'?
or give a example for install sucessfully, with what kinds of packages should be installed in advanced?
-
请问 BMTrain 现在是否能够适配CUDA 12
-
知远兄团队你们好:
bmtrain 工具非常好用,确实节约时间,在GPU分配上调配非常有效率,不禁让我想起如果能和spark-gpu 或者pyspark 结合就更好了,现在我们在使用 javacpp 的pytorch 和 c++ libtorch 在商业项目中应用,对于大模型我们希望能依旧使用 bmtrain 来试试,如果bmtrain 可以和 javacpp pytorch 开发 sc…
-
`
RuntimeError:
The detected CUDA version (12.1) mismatches the version that was used to compile
PyTorch (11.8). Please make sure to use the same CUDA versions.
`
我的电脑上的cuda版本
`n…
-
windowns部署的时候,编译bmtrain不过,缺少nccl
-
I'm trying the demo code, here is the information: with CUDA 12.1
the command `!python -c "import torch;print(torch.cuda.nccl.version())"`, can return `(2, 14, 3)`
below is the original import …
-
### Is your feature request related to a problem? Please describe.
非常赞赏学长们的工作!我有一个小小的问题注意到readme里有一个吞吐和显存占用的表格。BMtrain显著优于Deepspeed- megaton,我好奇这其中的优化主要来源于什么地方呢。同样的逻辑,为什么我们能够支持更多的bach size,吞吐更高?是否也有显…