search

secretflow / scql

SCQL (Secure Collaborative Query Language) is a system that allows multiple distrusting parties to run joint analysis without revealing their private data.
https://www.secretflow.org.cn/docs/scql/en/
Apache License 2.0
126 stars 46 forks source link

scql效率和所需资源的问题 #346

Closed ShaneGu4Real closed 1 month ago

ShaneGu4Real commented 1 month ago

Issue Type

CCL

Have you searched for existing issues?

Yes

Link to Relevant Documentation

No response

Question Details

您好，想问下scql效率的问题，目前可以支持双方系统，每一方单表大概多少数据量的联合查询，最大可以满足多大数据量（单表 十万？百万？千万？或者更多）的联合查询，如果达到百万级别的联合查询，需要的cpu、内存、磁盘、带宽资源大概是什么样的，谢谢。
383004576 commented 1 month ago

您好，最大支持数量规模更多取决于您的系统配置和资源限制，百万级别的联合查询的性能预期是多少呢？能具体讲下您的场景吗？

ShaneGu4Real commented 1 month ago

您指的性能预期是查询速度吗，如果在百万级别，单表查询汇总在分钟级别是否可以实现，多表关联，在分钟或者几十分钟，可以接受，我方的场景用来多方的订单记录关联查询，数据分析，单方数据量在亿级别，不知道scql是否可以支撑，想问下，百万级别的查询和计算，我方的系统配置和资源限制应该在什么水平可以满足？，另外如果可以实现亿级别的查询分析，我方的系统配置和资源限制应该在什么水平可以满足？ 谢谢

383004576 commented 1 month ago

您好，8C16G的配置，千万级数据规模查询响应在分钟级别，亿级别规模查询响应小于1h。以上是参考数据，实际情况还会受到表配置、查询语句等其他因素影响，没有百万级别的参考数据，建议您可以根据需求自己调试。

ShaneGu4Real commented 1 month ago

谢谢，需要了，我们再试试