search

bojone / rerope

Rectified Rotary Position Embeddings
330 stars 27 forks source link

运行 test.py 显存爆了 #6

Open liyi-ff opened 1 year ago

liyi-ff commented 1 year ago

请问苏神的GPU配置是什么？ 我两个A100 80G 直接运行python test.py 显存爆了， 也没找出原因

liyi-ff commented 1 year ago

我把upcast to fp32 注释掉就好了，两个GPU各用了70GB内存。 有一点疑惑就是为什么这里inference需要这么多显存？ HuggingFace 上的例子就用了15GB/GPU， 是因为这里处理的文本过长的原因吗？

bojone commented 1 year ago

我是在8*A800上测试的。我对torch不了解，坦白说我也很困惑为啥它会消耗这么多显存...

mmmans commented 1 year ago

我把upcast to fp32 注释掉就好了，两个GPU各用了70GB内存。 有一点疑惑就是为什么这里inference需要这么多显存？ HuggingFace 上的例子就用了15GB/GPU， 是因为这里处理的文本过长的原因吗？

有复现的代码吗