yl-1993 / learn-to-cluster

Learning to Cluster Faces (CVPR 2019, CVPR 2020)
MIT License
705 stars 143 forks source link

about train data size #66

Closed XHQC closed 1 year ago

XHQC commented 4 years ago

@yl-1993 作者你好! 在训练的过程中我使用了5.8M的训练集,但迟缓卡死,请问能支持的数据集大小是怎么样的呢,或运算资源消耗的计算方式,减小为0.58M后依然在KNN 创建的时候卡住,训练为512特征集,cfg_train_gcnv_ms1m.py 请问训练集的限制,或者必须改变的参数是什么?

yl-1993 commented 4 years ago

@XHQC Hi, 这里的迟缓卡死是指KNN的创建过程卡死吗?

如果用5.8M的数据集训练,建议采用faiss_gpu的方式来构建KNN。用faiss或者hnsw的方式也是可以算出来的,我们测试5.8M数据的时候就是使用cpu版的faiss经进行构建。具体需要等的时间和你所使用的硬件资源有关。另一种方式是可以减小K的值,使创建出来的KNN Graph更加稀疏。