PaddleMIX 快乐开源活动 (2024 Q4)

[luyao-cv]

📣PaddleMIX 快乐开源活动

旨在鼓励更多的开发者参与到飞桨大模型套件的开源建设中，帮助社区修复 bug 或贡献 feature，共建飞桨。

🔥热身任务

跑通 Stable-Diffusion 的训练推理流程，通过完成本任务，可以收获对时下火热的文生图SD模型的hands on感受与理解，也可以快速上手PaddleMIX。

• https://github.com/PaddlePaddle/PaddleMIX/issues/273

🌈命题任务

命题任务是我们总结整理大模型套件的需求得出，每个任务上标注了任务难度，大家可以选择参与。欢迎对这些需求感兴趣的开发者参与到这些任务的开发✌️✌️。在开发过程中，你能进行包括任务分解、代码撰写等工作，还会有飞桨的研发全程和你一起解决可能遇到的问题。还等什么，快来参与吧。🎉🎉

认领方式

请大家以 comment 的形式认领任务，如：

【报名】：1、3、12-13

多个任务之间需要使用中文顿号分隔，报名多个连续任务可用横线表示，如 2-5 PR 提交格式：在 PR 的标题中以 【PPMix No.xxx】 开头，注明任务编号

看板信息

任务方向	任务数量	提交作品 / 任务认领	提交率	完成	完成率
飞桨多模态大模型快乐开源活动	35	0 / 6	0.0%	0	0.0%

统计信息

排名不分先后

任务列表

多模态理解

mentor: @luyao-cv (1-10) @nemonameless (11-18)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
1	Qwen2-VL训练下游任务案例文档	文档完善	添加Qwen2-VL训练下游任务的案例文档参照 ms-swift qwen2-vl最佳实践	🌟	P0	@yinfan98
2	添加LLaVA、Qwen2-VL模型单测	单测	提交test_llava.py和test_qwen2vl.py单测，脚本参照 文件	🌟	P0	@KeithMaxwell
3	Qwen2-VL LoRA训练	模型训练	支持Qwen2-VL-2B的LoRA训练	🌟🌟	P0	@FrankShi9
4	LLaVA-OneVision 模型推理	模型复现	llava-onevision-qwen2-0.5b-ov、llava-onevision-qwen2-7b-ov和llava-onevision-qwen2-7b-ov-chat推理对齐	🌟🌟	P1
5	LLaVA-Video-7B-Qwen2推理	模型复现	LLaVA-Video-7B-Qwen2 推理对齐	🌟🌟	P1
6	Ovis-1.6系列模型推理	模型复现	Ovis1.6-Gemma2-9B推理对齐	🌟🌟🌟	P1
7	Aria 模型推理	模型复现	Aria推理对齐	🌟🌟🌟	P1
8	POINTS-Qwen-2-5模型推理	模型复现	POINTS-Qwen-2-5-7B-Chat推理对齐	🌟🌟	P3
9	Molmo 模型推理	模型复现	Molmo-7B-D-0924推理对齐	🌟🌟	P3
10	MiniCPM-V 2.6 推理	模型复现	MiniCPM-V-2_6推理对齐	🌟🌟🌟	P0
11	Emu3 多模态理解和生成推理	模型复现	Emu3-Chat和Emu3-Gen 均推理对齐	🌟🌟🌟	P0
12	Janus 多模态理解和生成推理	模型复现	Janus推理对齐	🌟🌟🌟	P0
13	InternLM-XComposer2.5模型推理	模型复现	InternLM-XComposer2.5-7B 推理对齐	🌟🌟	P1
14	DocOwl2模型推理	模型复现	DocOwl2 推理对齐	🌟🌟	P2
15	cambrian-8B推理	模型复现	8B模型推理对齐	🌟🌟	P2
16	Mono-InternVL推理	模型复现	Mono-InternVL-2B 推理对齐	🌟🌟	P2
17	Chameleon模型推理	模型复现	chameleon-7b推理对齐	🌟🌟🌟	P2
18	DeepSeek-VL 推理	模型复现	7B模型和1.3B模型推理对齐	🌟🌟🌟	P3

多模态生成

mentor：@westfish (19-26)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
19	PPDiffusers推理页文档	文档完善	完善inference页面文档，补齐pipelines	🌟	P0	@WFLiu0327
20	SD3单测	单测	完善SD3单测tests/pipelines/stable_diffusion_3	🌟🌟	P0	@WFLiu0327
21	FLUX推理	模型复现	FLUX推理对齐，可参考diffusers-flux	🌟🌟🌟	P0
22	SD3.5适配	模型复现	SD3.5推理适配，支持stable-diffusion-3.5-large	🌟🌟	P0
23	SD3特色应用	特色应用	基于SD3构建特色创意应用applications/SD3，提供gradio和ipynb	🌟🌟🌟	P0	@fxy1699
24	Cogview3推理	模型复现	Cogview3-plus推理对齐，可参考diffusers-cogvidw3	🌟🌟	P1
25	Kolors推理	模型复现	Kolors推理对齐，可参考diffusers-kolors	🌟🌟	P1
26	Latte推理	模型复现	Latte推理对齐，可参考diffusers-latte	🌟🌟	P1

数据工程

mentor: @lyuwenyu (27, 30, 31) @LokeZhou (28, 29)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
27	datacopilot首页文档	文档完善	通过了解多模态大模型的数据处理流程，和使用datacopilot的体验，写一篇适合新手入门的tutorial	🌟	p0
28	ExplainableVQA推理	模型复现	ExplainableVQA推理对齐	🌟🌟	p0
29	sam2推理	模型复现	sam2推理对齐，并接入appflow	🌟🌟	p0
30	QuRating推理	模型复现	QuRating推理对齐，接入datacopilot	🌟🌟🌟	p1
31	SQ-LLaVA推理	模型复现	SQ-LLaVA推理对齐，接入datacopilot	🌟🌟🌟	p1

音频方向

mentor: @luyao-cv (32-35)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
32	SVC 复现	模型复现	训练和推理对齐，并接入models	🌟🌟🌟	p0
33	Bert-VITS2 复现	模型复现	训练和推理对齐，并接入models	🌟🌟🌟	p0
34	RVC 复现	模型复现	训练和推理对齐，并接入models	🌟🌟🌟	p0
35	Diffsinger 复现	模型复现	推理对齐，并接入models	🌟🌟	p0

[yinfan98]

【报名】：1

[fxy1699]

【报名】：23

[FrankShi9]

【报名】：3

[WFLiu0327]

【报名】：19、20

[KeithMaxwell]

【报名】：2