Closed ZhuanDJ closed 6 years ago
语料库一般都是txt文件,其中有空格和换行情况,怎样保证读取txt时去除这种情况。而且中文与数字占用字节数不同,怎样能够随机截取连续的10个字符?
好的,非常感谢
语料库一般都是txt文件,其中有空格和换行情况,怎样保证读取txt时去除这种情况。而且中文与数字占用字节数不同,怎样能够随机截取连续的10个字符?