aki65 / aki65.github.io

69 stars 12 forks source link

桌面端int8 #89

Open ugvvff opened 1 year ago

ugvvff commented 1 year ago

安卓能够量化为int8,桌面端也就是pc是不是也能通过什么方法量化为int8?这样桌面端也能够使用量化为int8的权重,如果量化后速度提升2倍elo将提高250,棋力将大涨。有这个想法来源于同一张显卡int8相比于fp16算力高得多。

aki65 commented 1 year ago

这是一个很有前途的方法,但我不是实现它的合适人选。我纯粹从事安卓开发,我的电脑甚至没有专用的图形卡,只有板载图形。

ugvvff commented 1 year ago

那您是用什么工具将权重量化为int8的?

---原始邮件--- 发件人: @.> 发送时间: 2023年7月1日(周六) 晚上11:05 收件人: @.>; 抄送: @.**@.>; 主题: Re: [aki65/aki65.github.io] 桌面端int8 (Issue #89)

这是一个很有前途的方法,但我不是实现它的合适人选。我纯粹从事安卓开发,我的电脑甚至没有专用的图形卡,只有板载图形。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>