search

Determined22 / zh-NER-TF

A very simple BiLSTM-CRF model for Chinese Named Entity Recognition 中文命名实体识别 (TensorFlow)
2.32k stars 937 forks source link

data.py里为什么所有读文件的地方都是readlines再遍历list #92

Open ztabris opened 5 years ago

ztabris commented 5 years ago

有些大文件会导致占用内存过大OOM，直接readline遍历文件行就可以节省很大内存，这么做是为什么呢？