search

PaddlePaddle / PaddleMIX

Paddle Multimodal Integration and eXploration, supporting mainstream multi-modal tasks, including end-to-end large-scale multi-modal pretrain models and diffusion model toolbox. Equipped with high performance and flexibility.
Apache License 2.0
354 stars 135 forks source link

与PaddleNLP2.8在V100上的兼容性 #607

Closed wojiaoshihua closed 4 months ago

wojiaoshihua commented 4 months ago

当我在V100上运行llava的静态版量化WINT8时，发现如果用的是PaddleNLP2.8版本，则无法量化成功，而2.7可以。

然而，我之前在A100上运行时，并没有遇到这个问题。

我已经排除了PaddleNLP在V100上的量化问题(llama模型是能量化成功的)，我的问题是PaddleMiX是否与2.8版本产生了一些冲突，这些冲突是只在V100上才会发生的，这个冲突发生在哪，能指明一个大体方向吗