大数据集测试时间过长

xiaoxiong74 / face-cluster-by-infomap

face-cluster-by-infomap 一种无监督人脸聚类方法，在开源数据集上取得SOTA效果

165 stars 25 forks source link

Open Linsongrong opened 3 years ago

Linsongrong commented 3 years ago

@xiaoxiong74 ，作者，您好。感激您开源的工作！我在测试MS-1Mpart9（图片数5206761）的数据时，跑了很长时间都还没结果（已经过去5个半小时了）。请问您有做过大规模数据集的测试吗，能分析一下原因吗？

xiaoxiong74 commented 3 years ago

@xiaoxiong74 ，作者，您好。感激您开源的工作！我在测试MS-1Mpart9（图片数5206761）的数据时，跑了很长时间都还没结果（已经过去5个半小时了）。请问您有做过大规模数据集的测试吗，能分析一下原因吗？

未进行一次性进行大规模数据单独测试，只做过百万级的单批测试。比如实际场景下(如上亿的图片流)，建议进行分批聚类后再进行聚类，或结合其他机制策略。

Linsongrong commented 3 years ago

@xiaoxiong74 ，感谢你的回复，还有一个问题，infomap支持CUDA加速吗？如果支持该怎么做？