secretflow / scql

SCQL (Secure Collaborative Query Language) is a system that allows multiple distrusting parties to run joint analysis without revealing their private data.
https://www.secretflow.org.cn/docs/scql/en/
Apache License 2.0
126 stars 46 forks source link

网络区如果分有DMZ区和内网区,数据库只能在内网区。如果是中心化架构,scqlEngine应该怎么部署 #371

Open YuChangF opened 2 weeks ago

YuChangF commented 2 weeks ago

Issue Type

Others

Have you searched for existing issues?

Yes

Link to Relevant Documentation

No response

Question Details

网络区如果分有DMZ区和内网区,数据库只能在内网区。
如果是中心化架构。因为数据库在内网区,scqlEngine部署在内网区,因为内网区只能和DMZ区得服务进行连接,如果DMZ区没有一个类似网关一样得服务,则无法和其他scqlEngine进行交互,这个有解决方案吗
jingshi-ant commented 2 weeks ago

请教下:scqlEngine(包括scdb)能否部署在DMZ区?(只有数据库在内网)

YuChangF commented 2 weeks ago

scdb部署在云端。现在就是边缘端的scqlEngine部署问题,如果scqlEngine部署在DMZ区的话,就得直连内网得数据库,这样其实不太符合DMZ和内网区交互得安全规范,一般不允许DMZ区得服务直连内网区数据库。有一种方法是scqlEngine部署在内网区,然后通过DMZ得网关和其他engine交互,这种是比较理想得方案,但是没看到SCQL有这个网关

请教下:scqlEngine(包括scdb)能否部署在DMZ区?(只有数据库在内网)

jingshi-ant commented 2 weeks ago

SCQL不提供网关相关能力,相关的网关选择、路由配置需要用户结合具体部署环境自行决策。

YuChangF commented 2 weeks ago

SCQL不提供网关相关能力,相关的网关选择、路由配置需要用户结合具体部署环境自行决策。

那针对网络区如果分有DMZ区和内网区,数据库只能在内网区这个场景。ScqlEngine有啥好的解决方案吗

jingshi-ant commented 2 weeks ago

如果DMZ不能访问内网数据库(SCQLEngine不能部署在DMZ),暂时没太好的思路:此时相当于不同机构的SCQLEngine需要跨越内网互通,这本身和网络隔离的目的感觉有冲突。

YuChangF commented 1 week ago

如果DMZ不能访问内网数据库(SCQLEngine不能部署在DMZ),暂时没太好的思路:此时相当于不同机构的SCQLEngine需要跨越内网互通,这本身和网络隔离的目的感觉有冲突。

我看了下engine的通信走的是brpc,默认配置是走的http,那spu中的通信也是使用http吗,包括rayfed,我看了下rayfed有在处理http_header,如果都是http,我们自己考虑加网关

tongke6 commented 1 week ago

engine 中的 spu 不会走另外的通讯信道,会复用 engine 创建的 link context

YuChangF commented 1 week ago

engine 中的 spu 不会走另外的通讯信道,会复用 engine 创建的 link context

我看了yacl和spu的代码,是会使用link context 中的brpc,brpc配置中配置走HTTP协议, 但是我记得spu不是有使用rayfed吗,rayfed走brpc吗?

tongke6 commented 1 week ago

@YuChangF spu 没有依赖 rayfed