search

alwqx / blog

my personal blog repo
https://alwq.xyz
0 stars 0 forks source link

大模型量化教程 #60

Open alwqx opened 1 month ago

alwqx commented 1 month ago

最好的的可视化大模型/LLM 量化原理指南！🤯🤯 通过精美的图例演示和教学各种技术！强烈推荐！🔥可以学习之后加深和了解 Llama 3.1 微调👍

包括 FP16，BF16，INT8，后训练量化如 GGUF 等 4Bit 量化等各种技术细节，量化正在成为在端侧运行/压缩 LLM 最重要的技术！

https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization