wujcan
commented
2 years ago 您好 ，请问你们的这个代码有考虑处理大规模数据嚒？如果上亿条的数据量，该在哪个模块修改代码呢？最近修改的很是迷惑。
由于资源有限，我们目前在单机单卡上进行测试，使用的数据也只是million级别的。对于上亿甚至billion的数据，恐怕单机单卡上会存在内存或显存不够的问题。数据处理部分在data文件夹下，你可以debug一下
Closed BOTAK0803 closed 2 years ago
wujcan
commented
2 years ago 您好 ，请问你们的这个代码有考虑处理大规模数据嚒？如果上亿条的数据量，该在哪个模块修改代码呢？最近修改的很是迷惑。
由于资源有限，我们目前在单机单卡上进行测试，使用的数据也只是million级别的。对于上亿甚至billion的数据，恐怕单机单卡上会存在内存或显存不够的问题。数据处理部分在data文件夹下，你可以debug一下
您好 ，请问你们的这个代码有考虑处理大规模数据嚒？如果上亿条的数据量，该在哪个模块修改代码呢？最近修改的很是迷惑。