search

secretflow / kuscia

Kuscia(Kubernetes-based Secure Collaborative InfrA) is a K8s-based privacy-preserving computing task orchestration framework.
https://www.secretflow.org.cn/docs/kuscia/latest/zh-Hans
Apache License 2.0
73 stars 54 forks source link

通过secertpad页面添加对mysql的支持 #279

Open secretflowcode opened 6 months ago

secretflowcode commented 6 months ago

目前数据通过secretpad调用kuscia再调用secretflow获得csv数据，想在secertpad页面支持mysql引擎，应该怎么改呢，需要在secretpad ，kuscia，secretflow改哪些接口呢？求隐语大神给些系统的指导和实现建议

wenkesong-li commented 6 months ago

可以看一下这个文档 https://www.secretflow.org.cn/zh-CN/docs/secretpad/v0.6.0b0/development/SUPPORT_MYSQL

目前secret是sqllite数据库， 可以切换到mysql

secretflowcode commented 6 months ago

可以看一下这个文档 https://www.secretflow.org.cn/zh-CN/docs/secretpad/v0.6.0b0/development/SUPPORT_MYSQL

目前secret是sqllite数据库， 可以切换到mysql

我可能没有描述清楚，是指支持的数据源 ，支持mysql，不是元数据存储到mysql

wenkesong-li commented 6 months ago

目前是不支持mysql的数据源，可以描述一下具体需要用到的场景

secretflowcode commented 6 months ago

目前是不支持mysql的数据源，可以描述一下具体需要用到的场景

就是用户的数据，是存储在mysql中，具体的数据库和表都会存在用户侧，然后平台在做psi的时候，会直接从mysql中获得数据参与psi的计算

UniqueMarvin commented 6 months ago

hi @secretflowcode
kuscia 的 Datamesh 模块负责管理 数据与数据源的metadata ，代码参考：https://github.com/secretflow/kuscia/tree/main/pkg/datamesh secretflow 中 对接 Datemesh 的代码可参考 ：https://github.com/secretflow/secretflow/blob/main/secretflow/kuscia/datamesh.py

secretflowcode commented 6 months ago

hi @secretflowcode kuscia 的 Datamesh 模块负责管理 数据与数据源的metadata ，代码参考：https://github.com/secretflow/kuscia/tree/main/pkg/datamesh secretflow 中 对接 Datemesh 的代码可参考 ：https://github.com/secretflow/secretflow/blob/main/secretflow/kuscia/datamesh.py

多谢，多谢，我看看，还有一个方案，就是每次计算的时候，主动先把数据从mysql抽到pad容器里面作为csv文件处理

secretflowcode commented 6 months ago

还有一个方案，就是对kuscia 中的task_input_config uri 值进行判断，对于传入的Mysql类型，进行Mysql数据的读取

UniqueMarvin commented 6 months ago

还有一个方案，就是对kuscia 中的task_input_config uri 值进行判断，对于传入的Mysql类型，进行Mysql数据的读取

可以看一下 https://github.com/secretflow/secretflow/blob/main/secretflow/kuscia/entry.py 这个代码，可以参考oss数据读取的方式实现读取 mysql

secretflowcode commented 4 months ago

目前在secretpad端读取mysql数据，再上传到数据库，错误日志如下：

consumer.txt supplier.txt

wenkesong-li commented 4 months ago

你好，请问一下使用的secretpad版本和kuscia版本是什么？ 另外检查一下psi的组件版本~

secretflowcode commented 4 months ago

你好，请问一下使用的secretpad版本和kuscia版本是什么？ 另外检查一下psi的组件版本~

kuscia:0.7.0b0 psi 0.0.1 secretflow:1.5.0 psi 0.0.4

zimu-yuxi commented 4 months ago

进入secretpad容器，grep -C 10 '任务id' /app/log/secretpad.log | grep -C 10 'o.s.s.s.s.p.DataSyncConsumerTemplate'，看下PSI的版本号传参是什么

secretflowcode commented 4 months ago

进入secretpad容器，grep -C 10 '任务id' /app/log/secretpad.log | grep -C 10 'o.s.s.s.s.p.DataSyncConsumerTemplate'，看下PSI的版本号传参是什么

2024-07-05 15:38:33 [http-nio-8080-exec-1] INFO o.s.s.s.g.a.NodeDefAdapterFactory - - nodeDefAdapter nodeDef : domain: "data_prep" name: "psi" version: "0.0.2"