使用中文数据集做测试

[lzf00]

你好，我想用自己的中文数据集做测试，但是发现中文无法做bpe，能否不使用这一模块，让模型能正常训练中文的数据集？

[yhcc]

按道理中文应该没有影响的（中文对char的bpe就等于不做任何处理吧？），应该不是由于bpe的问题，感觉可能还是数据处理的问题。

[yedongyu1996]

@lzf00 请问你现在解决这样的问题了吗