PureNatural
commented
8 months ago 部署开源领域垂直大模型，可以做非常多的赋能与创新任务：
最近读了一篇达摩院NLP团队去年8月份发布的《指令微调的电商领域大模型》，受益匪浅。
在下次轮到我做学术分享时，我会对该论文讲解
该论文将整个电商领域的数据集划分为100多个任务数据集，主要任务划分情况如下：
然后使用指令微调的方式，让模型逐一去学习这些任务，最后实验取得不错的效果
指令微调数据需要包含任务描述、任务指令、输入句子、候选标签（可选）、输出限制（可选）、输出结果
数据集有一部分来自于公开成熟的数据集，因为电商领域本身研究者参与的也很多，故产生了很多标准数据集 还有一部分没有标签的数据通过ChatGPT和人工标注的方式产生
那么放到开源领域我认为我们一下提出100多个任务数据集显然是很难的，可以把现有已经形成的数据集作为训练的一部分，这与我之前一直想制作的问答任务数据集也是相关联的。
同时数据集的制作又于OpenPerf有着关联性，OpenPerf中我们提出的9个任务，也可以选择合适的一部分作为指令微调数据集中的一个任务。如何构建开源领域的垂直大模型也会是我后面主要工作的一个方向。
will-ww
大概在 2022 年的时候，X-lab 整体关注的还是如下图所示的情景：
今天，离 ChatGPT 发布已经过去一年多的时间，AIGC / LLM 技术已经得到了极大的关注，无数基于该技术的研究如火如荼。这让我们又重新想到了上面这幅图的左半部分。Hypertrons（自动化协作机器人）在大模型技术的加持下，势必获得全新的审视。因此开辟此帖，探索大模型技术对开源社区生产、治理与运营的新方向。
当下的人工智能模型，我们大致可以分为两个类别：
AIGC 时代 （ChatGPT --> API 系统 --> 插件系统 --> Sora）已经开启，LLM 技术（Transformer --> GPT --> CLIP）飞速发展。在这样一个背景下，同样也给开源领域的学术研究、项目开发、服务运营、商业变现等事务，带来了巨大的机会，面向开源领域提供一个集“咨询、研发、运营”于一体的垂直大模型基础设施，具有相当的吸引力。我们在教育领域也做过类似的初步探索。
部署开源领域垂直大模型，可以做非常多的赋能与创新任务：
上述这些任务，都能够通过大模型技术在不同层面增强甚至取得突破性进展，还能落地回 Hypertrons 和 HyperCRX 这样的产品中，也为后续企业研发数字化的通用需求，做好技术积累与场景验证。
这是个充满希望的时代，这也是个令人绝望的时代。