Closed clclclaiggg closed 2 months ago
请问模型未生成幻觉内容的情况下,也有明显的“柱状”特征的token,您做了那些处理呢,来避免对这种情况进行处理。
你好,
感谢您的问题!我们没有单独去考虑有幻觉或没有幻觉的情况,因为对于解码方法来说是否有幻觉并不能预知。我们在文章中阐述了“柱状”特征是causal LM的普遍现象并且解释了其导致幻觉的可能性,即序列中更多的“柱状”特征会更容易使幻觉内容出现。对应地,我们提出的解码方法是一种较为“直接粗暴”的方法——惩罚该特征的出现。文中也给了这种方法对于生成内容的影响的结果(Table 5),发现影响不大。
明白了,谢谢
请问模型未生成幻觉内容的情况下,也有明显的“柱状”特征的token,您做了那些处理呢,来避免对这种情况进行处理。