Open will-ww opened 1 year ago
根据目前的报告,研究点(贡献点)可以考虑:两个微创点 + 一个工程实现点,具体如下:
第 3 点已经完全跑通,只用把 1、2 的成果适当的集成进去即可。
关于1:可以针对开源社区问答任务,设计一套通用的领域数据制作方法(包括人工标注的引入)
关于2:可以参考目前已有的模型微调方法,做一些微创新改造的工作,例如
可以通过阅读相关论文和开源项目,进行研究点的构建~
还有一个大模型的学习资源仓库:https://github.com/Hannibal046/Awesome-LLM
感谢王老师,我一直在反复思考开题中答辩老师指出的主要问题。
具体表现就是要举出公式,甚至流程中的某个步骤等。
我下面的主要计划就是:
最近读了些材料,做几个总结和笔记,供参考。
1、大模型与 AIGC 通用工程化流程
预训练 --> 微调 --> 领域训练 --> 领域微调 --> 推理
启示:开题工作的范围,可以聚焦再领域训练和领域微调上面
2、ChatGPT 工作流
有监督微调(SFT)--> 模拟人类偏好(RM) --> 近端策略优化(PPO/RLHF)
其中:
启示:可以挖掘上述各个环节中的关键技术,进而寻找研究点,例如 PPO、RLHF 技术,值得深究
3、InstructGPT 训练流程(ChatGPT 背后公开的资料)
预训练与提示学习 (模仿期)--> 结果评价与奖励建模(管教期)--> 强化学习自我进化(自主期)
启示:可以挖掘上述各个环节中的关键技术,进而寻找研究点
4、预训练语言模型的发展
启示:提示学习、上下文学习、思维链等方面,结合领域知识(如开源社区问答),是很有机会形成研究点的
5、类 ChatGPT 实践流程
任务设计 --> 数据准备 --> 特定任务( SFT --> RM --> RL )-->应用推理
其中,“特定任务”代表某一具体任务,例如文档摘要生成、情感分类、问答等。
启示:结合具体的特定任务(如问答),开展( SFT --> RM --> RL )技术的研究,比较容易落地
最后推荐一本中文教材,可以快速掌握 LLM 领域现状:https://item.jd.com/14103180.html
以及陆老师团队那边的一个现状调研:开源垂类领域大模型现状.pdf
@will-ww 非常感谢王老师的热心帮助❤,我这边也焦虑了很久,我进一步思考下来的核心还是我的问题定义不有效:
首先研究问题要具备:创新性、重要性、可行性。
我最初思考的问题的逻辑是这样的:
所以我的解决办法应该是在大问题的基础上,提出有科学背景的子问题。比如:
目前我在朝着这两个问题的方向找资料。
CCCF 近期的一篇短文,技术创新上可以做些借鉴:@TieWay59
@will-ww
已完成事项:
遇到的困难:
下一步安排:
开题报告初稿:https://www.yuque.com/tieway59/qvc10e/wtwf9o022z791tpf/edit