Open Hongru0306 opened 5 months ago
探索llm的机理,研究llm系列底层架构实现,用最简洁明了的简短代码,动手搓llm模型数据加载、预训练、微调、向量检索,评测以及agent全流程。(重点在简洁明了~)
huggingface
langchain
llama-index
xtuner
opencompass
metaGPT
想深入了解并尝试复现与魔改llm模型加载、预训练、指令微调、向量检索、性能评测以及agent的研究生、研究者以及兴趣驱动的开发者。
本项目旨在全流程从零手搓,并且支持后续的训练以及推理全流程,与市面上的llm教程不同。 虽然目前已经有很多llm教程,但大多都是讲解模型原理,到model层面就结束,并且鲜有讲解RAG以及评测的教程。 区别于大型的算法包如langchain,llama-index,我们的项目代码对初级开发者更简洁清晰,更"可解释"
总结:目前市面上大多项目重点在于API开发应用,或者是较原理的llm底层教程,抑或是不完善与较落后llm的简洁实现。故本项目核心在于用最简洁的实现架构从而重构llm算法系列全流程,从加载,预训练,微调,RAG,评测,Agent,将各个冗长的算法库如huggingface、LangChain、MetaGPT等黑盒子转变为小而全的白盒子。
1.tiny-dataset 2.tiny-llama@不要葱姜蒜@Logan Zou@Hongru0306 3.tiny-qwen@Hongru0306 4.tiny-RAG@不要葱姜蒜(目前已完成) 5.tiny-compass@Hongru0306(目前已完成) 6.tiny-agent@不要葱姜蒜目前已完成
tiny-universe
肖鸿儒 vx:(XiaoHr0306) 不要葱姜蒜 Logan Zou
同意
7天内无反对意见则默认立项通过
你是否已经阅读并同意《Datawhale开源项目指南》?
你是否已经阅读并同意《Datawhale开源项目行为准则》?
项目简介
探索llm的机理,研究llm系列底层架构实现,用最简洁明了的简短代码,动手搓llm模型数据加载、预训练、微调、向量检索,评测以及agent全流程。(重点在简洁明了~)
立项理由
huggingface
,langchain
,llama-index
,xtuner
,opencompass
,metaGPT
...这些工具极大的方便了开发者使用llm,但也是一把双刃剑,使得开发者难以摸清里面的细节。项目受众
想深入了解并尝试复现与魔改llm模型加载、预训练、指令微调、向量检索、性能评测以及agent的研究生、研究者以及兴趣驱动的开发者。
项目亮点
本项目旨在全流程从零手搓,并且支持后续的训练以及推理全流程,与市面上的llm教程不同。 虽然目前已经有很多llm教程,但大多都是讲解模型原理,到model层面就结束,并且鲜有讲解RAG以及评测的教程。 区别于大型的算法包如langchain,llama-index,我们的项目代码对初级开发者更简洁清晰,更"可解释"
类似项目比较
总结:目前市面上大多项目重点在于API开发应用,或者是较原理的llm底层教程,抑或是不完善与较落后llm的简洁实现。故本项目核心在于用最简洁的实现架构从而重构llm算法系列全流程,从加载,预训练,微调,RAG,评测,Agent,将各个冗长的算法库如huggingface、LangChain、MetaGPT等黑盒子转变为小而全的白盒子。
项目规划
目录:
1.tiny-dataset 2.tiny-llama@不要葱姜蒜@Logan Zou@Hongru0306 3.tiny-qwen@Hongru0306 4.tiny-RAG@不要葱姜蒜(目前已完成) 5.tiny-compass@Hongru0306(目前已完成) 6.tiny-agent@不要葱姜蒜目前已完成
规划:
目标:
tiny-universe
!项目负责人
肖鸿儒 vx:(XiaoHr0306) 不要葱姜蒜 Logan Zou
备注:发起立项申请后DOPMC成员将会在7天内给出审核意见,若7天内无反对意见则默认立项通过~