Open zhuomingla opened 3 months ago
https://zhuomingla.github.io/2024/06/28/js%E5%B0%8F%E5%9E%8Bllm%E8%AE%A1%E5%88%92/
准备照着重打一遍代码，不过是用tensorflow.js 持续更新。 粗略理解首先先粗略的理解一下文本生成的原理吧，虽然非常幼稚… 注意力：对应两个token之间的关系文本生成：根据上个token预测下一个tokenk,q,v：k与q相对应，v作为输入，输出v2，v2又作为下一个输入…所以理论上，一层注意力也是能用来生成的，只要参数够大…希望没有错的太离谱。 一个js transformer实
https://zhuomingla.github.io/2024/06/28/js%E5%B0%8F%E5%9E%8Bllm%E8%AE%A1%E5%88%92/
准备照着重打一遍代码，不过是用tensorflow.js 持续更新。 粗略理解首先先粗略的理解一下文本生成的原理吧，虽然非常幼稚… 注意力：对应两个token之间的关系文本生成：根据上个token预测下一个tokenk,q,v：k与q相对应，v作为输入，输出v2，v2又作为下一个输入…所以理论上，一层注意力也是能用来生成的，只要参数够大…希望没有错的太离谱。 一个js transformer实