NascentCore / 3k

3-k platform is for training LLMs
GNU Affero General Public License v3.0
13 stars 3 forks source link

【功能需求】数据资产管理开发 #929

Closed sxwl-donggang closed 1 month ago

sxwl-donggang commented 3 months ago

背景

描述系统现有的状况和相关的具体信息

负责 cpodoperator和 portsync的改造部分,包括

  1. operator添加一种 condition: 判断数据是否准备完成
  2. operator创建下载器pod
  3. 修改portsync中逻辑
  4. 适配器
  5. 下载器pod需要修改modelstorage和datasetstorage的status,所以需要有对应权限的serviceaccount
  6. 下载数据集时,如何记录模型的Template:创建一个cpodjob ,对应的模型不存在,开始下载,但是没有template参数
  7. 上传需要上传全量模型

这个功能需求是解决什么问题?

描述问题的具体场景,以及想要达到的效果

解决方案

列举目前考虑的可选解决方案

sxwl-donggang commented 3 months ago

目前遗还剩未完成:

sxwl-donggang commented 3 months ago

juytperlab crd增加数据自动下载功能

sxwl-donggang commented 3 months ago

目前自测已经完成