Closed yokings closed 1 year ago
有自动生成yaml里的scheme的工具吗,感觉这个也是论文中比较重要的一部分吧
yaml中的所有scheme都是基于loss metric得到的,以此来达到全局最优。loss metric你可以跑一个不包含联合优化的原始PTQ方法,然后统计每一个模块的rec loss,最终得到loss分布。
关于使用loss metric求解最优scheme,即求解论文中的公式4,我们是通过人工挑选top-k的方式求解的,就是选择了loss相差比较大的一些模块来做联合优化(这在文中的图2有相应的描述)。
这里其实可以设计一些方法去求解,但应该意义不大。只要包括了那些振荡比较严重的块,精度也不会有明显的差距。
有自动生成yaml里的scheme的工具吗,感觉这个也是论文中比较重要的一部分吧