shikiw
commented
2 months ago 你好，
感谢您的问题！我们没有单独去考虑有幻觉或没有幻觉的情况，因为对于解码方法来说是否有幻觉并不能预知。我们在文章中阐述了“柱状”特征是causal LM的普遍现象并且解释了其导致幻觉的可能性，即序列中更多的“柱状”特征会更容易使幻觉内容出现。对应地，我们提出的解码方法是一种较为“直接粗暴”的方法——惩罚该特征的出现。文中也给了这种方法对于生成内容的影响的结果（Table 5），发现影响不大。
clclclaiggg
请问模型未生成幻觉内容的情况下，也有明显的“柱状”特征的token，您做了那些处理呢，来避免对这种情况进行处理。