佬是否可以出一个LLama3原版的训练版本的代码

[Dbgsaoge]

佬是否可以出一个原版LLama3的推理流程呢，诸如多头注意力的整合计算这样子

[Dbgsaoge]

现在的这个跟着敲一遍收货很大，非常感谢！

[wdndev]

这个仓库里面有的，可以参考这个文件，是我从llama3官方仓库中提取的，可以加载llama3的权重，也可以训练。 llama3 py文件：https://github.com/wdndev/llama3-from-scratch-zh/blob/main/llama3/model.py

如果你想训练类gpt的模型，可以参考这个仓库，训练一个很小的gpt模型：https://github.com/wdndev/tiny-llm-zh

[wdndev]

tiny-llm-zh仓库中的llama2_torch分支，是使用llama2的结构，训练模型的代码；如果你想训练llama3的，可以参考，变化不是太大； 链接：https://github.com/wdndev/tiny-llm-zh/tree/llama2_torch

[Dbgsaoge]

好的好的 非常感谢！