search

pykt-team / pykt-toolkit

pyKT: A Python Library to Benchmark Deep Learning based Knowledge Tracing Models
https://pykt.org
MIT License
212 stars 58 forks source link

Ednet 数据集预处理提示Killed #126

Closed ranydb closed 6 months ago

ranydb commented 1 year ago

我尝试在examples文件夹下执行python -u data_preprocess.py --dataset_name ednet。

最终报错 train+valid original interactions num: 178558352, select num: 0, qs: 12277, cs: 188, seqnum: 588152

dropnum: 1848 train+valid sequences interactions num: 178556504, select num: 178556504, qs: 12277, cs: 188, seqnum: 1340548 dropnum: 438 original test interactions num: 45675101, select num: 0, qs: 12267, cs: 188, seqnum: 147038 test sequences interactions num: 45674663, select num: 45674663, qs: 12267, cs: 188, seqnum: 340129

Killed

在killed之前我观察到系统内存不断升高，直至killed。 我个人的机器配置有192G内存。请问是处理这个数据集需要更大的内存还是说预处理代码存在内存泄露？

sonyawong commented 1 year ago

hello ednet数据集比较大,内存要求较高, 我们处理这个数据集时,使用的机子内存在400G以上