什么是 GLCC？

第二届 GitLink 确实开源编程夏令营（GLCC）是由 CCF 中国计算机学会主办，之江实验室承办，CCF 开源发展委员会与 GitLink 确实开源社区共同协办的面向全国高校学生的暑期编程夏令营活动。高校学生参加 GLCC OpenMMLab 的课题，入选后可获得 OpenMMLab 开源专家 1V1 指导、9000~12000RMB 不等的丰厚奖金(税前)及结项证书，心动不如行动，赶紧点击下方申请链接报名吧！

题目名称

实现视频多模态 demo，输入为一段短视频（小于 60s）和用户提问，输出为根据视频内容对用户的回答

题目描述

项目介绍

MMAction2 是一个基于 PyTorch 的开源工具箱，支持众多视频理解模型，包括动作识别、基于骨架的动作识别、时空动作检测和时间动作定位。此外，它支持广泛使用的学术数据集，并提供许多有用的工具，帮助用户探索模型和数据集，以及实现高质量的算法。

编码任务

- 问题挑战：

如何让语言模型对视频产生整体的理解与无冗余的描述，例如避免模型将视频不同时段的同一实体描述为不同实体
如何避免语言模型产生一些不实描述

- 可能的思路：

整合传统识别模型的结果，并结合视频 backbone 的 embedding 作为 context 提供给 LLM，在提供前通过手工预处理和 prompt engineering 提升整体效果

- 预期目标：

定性上，超越 baseline ask-anything 的效果。定量上，在内部私有数据集上取得更高精度

已有开源代码参考：https://github.com/OpenGVLab/Ask-Anything

技能要求和编程语言

Python PyTorch

可参与人数

1人（项目由个人独立完成，限学生参与，包括应届毕业生）

课题难度

高

课题奖金

12,000

课题地址

https://www.gitlink.org.cn/glcc/2023/subjects/detail/623

导师及联系方式

GitHub ID：kennymckormick Email：openmmlab@gmail.com

官方微信群

报名须知

1.GLCC 面向 18 岁以上的在校学生，需提交在校学生证明材料，组委会会对提交材料进行审核。 2.申请阶段，GLCC 允许每个学生同时提交最多 2 个课题申请。申请结束后，经过与课题导师双向沟通，每个学生最终只能选择完成一个课题。 3.GLCC 的每个课题都公布了导师的姓名/ID 和邮箱地址，建议提前通过邮件方式和导师建立联系，反复沟通后再提交申请材料，你有充足的时间去了解你将要承担的课题。 4.请在截止日期前三天完成提交，避免因最后大量学生提交申请导致网络拥堵。 5.学生申请指南：GLCC 为同学们申请过程中遇到的问题提供了丰富的辅导文档，可在官网查看“帮助文档-->学生指南”获取。（官网链接：https://www.gitlink.org.cn/glcc/help） GLCC 学生交流群

open-mmlab / mmaction2

[GLCC] 2023 GitLink CodeCamp 编程夏令营（1） #2511