search

whwu95 / Text4Vis

【AAAI'2023 & IJCV】Transferring Vision-Language Models for Visual Recognition: A Classifier Perspective
MIT License
204 stars 15 forks source link

关于OSError: [Errno 5] Input/output error #6

Closed lyxwest closed 1 year ago

lyxwest commented 1 year ago

您好！ 我在尝试训练的过程中，发生了如下错误： OSError: [Errno 5] Input/output error: '/opt/data/private/dataset/k400_frame/train/auctioning/97nosiYXJm8_000087_000097' （每次错误发生的时间点随机、读取错误的文件也是不固定的，并不是固定几个文件报这个错误） 训练设备是2张32G Tesla V100 初步分析是因为读写小文件（切帧图片）速度慢。请问这种错误您有遇到过吗？因为还不确定是系统的问题，还是因为用于训练的GPU资源不够。 谢谢！

whwu95 commented 1 year ago

Hi, 您好， 感谢对我们工作的兴趣！ 我之前没有遇到过这种情况哦，不过你说错误并不是发生在固定视频，我个人感觉可能是和系统环境相关（比如内存吞吐）或者CPU多进程读取文件有关？可以试试升级机器或者更小的进程数。