memory leak khi train inception

[ndgnuh]

Reproduce:

• Dùng cycle lên dataloader gây ra leak bộ nhớ
• Có vẻ torch cache tensor với các kích thước khác nhau, giới hạn 1 kích thước ảnh duy nhất thì lượng bộ nhớ sử dụng ít hơn

Fix:

• Dùng generator
• Dùng torch.cuda.empty_cache

[ndgnuh]

export PYTORCH_NO_CUDA_MEMORY_CACHING=1

[ndgnuh]

cần khám nghiệm nguyên nhân, tắt caching làm giảm tốc độ train khoảng ~5 lần