search

openppl-public / ppq

PPL Quantization Tool (PPQ) is a powerful offline neural network quantization tool.
Apache License 2.0
1.44k stars 223 forks source link

VIT类模型量化感知训练loss跑飞 #560

Open XingchenSong1116 opened 1 month ago

XingchenSong1116 commented 1 month ago

大佬好，感谢你们出色的工具。 有一个问题就是现在ppq支持vit类模型QAT了嘛，我在QAT vit模型时LOSS是nan，验证集的accuracy是0，请问是要做一些其他的处理吗？还是说ppq现在无法支持vit模型的量化感知训练。

ZhangZhiPku commented 1 month ago

你可以加我的QQ: 281077761