是否考虑训练一个context更长的模型

[yuyijiong]

现有模型context长度都是4k，已经有YaRN等先进方法可以扩展context长度到100k以上。但是我缺乏中文预训练数据，目前也没有context足够长的中文模型。