OpenBMB / BMTrain

Efficient Training (including pre-training and fine-tuning) for Big Models
Apache License 2.0
548 stars 74 forks source link

我们以后能否和spark-gpu一起配合使用,开发 java 、scala . c++ 版本的bmtrain #131

Open mullerhai opened 1 year ago

mullerhai commented 1 year ago

知远兄团队你们好:

bmtrain 工具非常好用,确实节约时间,在GPU分配上调配非常有效率,不禁让我想起如果能和spark-gpu 或者pyspark 结合就更好了,现在我们在使用 javacpp 的pytorch 和 c++ libtorch 在商业项目中应用,对于大模型我们希望能依旧使用 bmtrain 来试试,如果bmtrain 可以和 javacpp pytorch 开发 scala 版本的,就可以和spark 一起结合使用了,可以极大拓展bmtrain的使用领域。恳请你们可以考虑

zkh2016 commented 1 year ago

感谢您提供宝贵建议!