Open fendaq opened 6 years ago
我还不太确定语料平衡能带来多大的提升,不过目前我想到一个简单的方法:先统计字频,再计算出每个句子的平均字频(语料最终会拆分成单个句子),再对句子进行复制,频率低的多复制几份,最后再对新的句子列表均匀采样
我还不太确定语料平衡能带来多大的提升,不过目前我想到一个简单的方法:先统计字频,再计算出每个句子的平均字频(语料最终会拆分成单个句子),再对句子进行复制,频率低的多复制几份,最后再对新的句子列表均匀采样