bytedance / MRECG

Apache License 2.0
35 stars 4 forks source link

关于scheme的疑问 #2

Closed yokings closed 1 year ago

yokings commented 1 year ago

有自动生成yaml里的scheme的工具吗,感觉这个也是论文中比较重要的一部分吧

BobxmuMa commented 1 year ago

有自动生成yaml里的scheme的工具吗,感觉这个也是论文中比较重要的一部分吧

yaml中的所有scheme都是基于loss metric得到的,以此来达到全局最优。loss metric你可以跑一个不包含联合优化的原始PTQ方法,然后统计每一个模块的rec loss,最终得到loss分布。

关于使用loss metric求解最优scheme,即求解论文中的公式4,我们是通过人工挑选top-k的方式求解的,就是选择了loss相差比较大的一些模块来做联合优化(这在文中的图2有相应的描述)。

这里其实可以设计一些方法去求解,但应该意义不大。只要包括了那些振荡比较严重的块,精度也不会有明显的差距。