是否考虑过将decoder部分的任务转换为预测词角标，而不是bpe index

[34127chi]

以公开数据集合训练得到模型，接着在新的数据集上进行三元组任务（triplet）抽取，发现Invalid token的比例很大

是否有考虑过在encoder的embedding部分对词（word）进行编码，decoder部分的任务转换为预测词角标的，从而减少了invalid token的比例？

[yhcc]

这里主要是预训练模型不太能接受word的编码，非法的预测实际上可以在decode的时候进行限制的。需要修改一下decode时候的beam search算法。