-
如果要做浮点型和八位量化的对比,32位浮点型就是把Wbits和Abits这两个参数设置为32,八位量化时就是设置为8吗??
ghost updated
3 years ago
-
我是做嵌入式端模型部署的工作,对模型压缩比较感兴趣。像了解在模型压缩过程中一些需要注意的事项,比如混合通道、组卷积。为什么训练组卷积的weight_decay设置0?还有models/util_w_t_b_conv.py中实现了哪些算法?还有util_w_t_gap.py这个代码是做什么的?
-
`class weight_quantize_fn(nn.Module):
def __init__(self, w_bit):
super(weight_quantize_fn, self).__init__()
assert w_bit
nbdyn updated
2 years ago
-
这里面都是对卷积层做处理,请问一下如果想量化linear层应该怎么做?
-
你好!首先感谢分享,但在二值量化模型的使用中,出现找不到util_wt_bab的情况,这好像并不是第三方包,文件结构里也没有找到该文件,请问应该如何解决呢?谢谢!
-
activation quantization is not same
In the paper :
x(real) is in range[0 ~ 1] : clamp(input, 0, 1)
then, quantize(x)
In your implementation:
clamp(input * 0.1, 0, 1)
-
您好,我看到咱们的设计确实比较优秀,有很多值得我们学习的地方!所以,想问一些咱们设计的所参考的一些文献,能否分享一下吗?比如量化部分的文献资料。谢谢啦!
-
Hi Ruizhou,
Thanks for sharing your code!
While going through your code, I found you used LeakyReLU for the first activation function and didn't quantize its output. Therefore it seems the secon…
-
When I implement pytorch version, I met the matrix inverse(torch.inverse(BxB^T)) doesn't have, How Can I promise the probility,
-
感谢大佬的分享,帮助很大。目前看代码有几个疑惑。
想问一下wbwtab和wqaq的区别是什么?看不懂名称的缩写。
还有就是wbwtab下的代码和wqaq/iao代码结构比较相似,区别在哪里?
另外,想知道iao是哪一篇文章的方法?能否提供一下想学习。
目前刚刚入门量化很多不懂,希望大佬能解答一下,谢谢!