zchen0420
commented
4 months ago The Troubling Emergence of Hallucination in Large Language Models – An Extensive Definition, Quantification, and Prescriptive Remediations
EMNLP 2023 | 南卡U、印度孟加拉的大学、斯坦福和亚马逊 Hallucination是emergency的py-product，细分hallucination的人工数据集HallucInation eLiciTation（HILT），由15种现代LLMs生成的公开的包含75,000个文本片段的数据集，并附有人工注解。此外，引入了幻觉易感性指数（Hallucination Vulnerability Index, HVI），用于量化和比较LLMs生成幻觉的倾向性。
- {Factual mirage, Silver lining} x {intrinsic, extrinsic}包含不同的种类。
- 验证15个当下的LLM。
主要方向：
- 事实幻影（Factual Mirage, FM）：当语言模型在处理客观正确的提示时产生的错误或歪曲信息。
- 希望之光（Silver Lining, SL）：在处理可能具有误导性但包含潜在真实信息的提示时，模型产生的幻觉。
源头区分：
- 内在幻觉（Intrinsic）：训练数据的问题，注入到了模型中。
- 外在幻觉（Extrinsic）：交互时导致的问题，对prompt等敏感。
6种类型：
-
首字母缩写歧义（Acronym Ambiguity）:
- 描述：当语言模型错误解释或生成基于首字母缩写的文本时发生。
- 例子：模型可能将“USA”错误地解释为“United Sports Association”而不是“United States of America”。
-
数字麻烦（Numeric Nuisance）:
- 描述：涉及数字的幻觉，尤其是当模型生成与事实不符的日期、时间或数量时。
- 例子：如果模型声称“第二次世界大战在1932年开始”，这明显是错误的，因为第二次世界大战实际上是在1939年开始。
-
生成的魔像（Generated Golem）:
- 描述：指模型创造出完全基于虚构信息的文本输出。
- 例子：模型可能会创造一个关于不存在的科技产品的故事，如“2025年，苹果公司发布了一款可以实现心灵感应的手机”。
-
虚拟声音（Virtual Voice）:
- 描述：当模型仿照某个不存在的人物或错误地归属某种声音时发生。
- 例子：模型可能错误地引用马丁·路德·金说过的话，而这话实际上是编造的。
-
地理错误（Geographic Erratum）:
- 描述：模型在处理地理信息时产生的错误。
- 例子：如果模型声称“巴黎是比利时的首都”，这显然是错误的，因为巴黎是法国的首都。
-
时间错位（Time Wrap）:
- 描述：模型在描述历史事件或时间线时的错误。
- 例子：模型可能会声称“手机在20世纪初被发明”，而实际上现代手机是在20世纪末发展起来的。
使用NYTimes和Politifact作为prompt，均匀的对各种类型输出进行人工判别和手动（改词、重写）以避免幻象。但是没有万能的解决方法。
- 对于较小的LLMs，如T5、Dolly等，很少观察到生成的魔像（Generated Golem）、虚拟声音（Virtual Voice）和地理错误（Geographic Erratum）类别的幻觉。
- 较大的、没有进行RLHF的LLMs倾向于产生两种类型的幻觉。（by-product）
- 根据定义，数字麻烦（Numeric Nuisance）和首字母缩写歧义（Acronym Ambiguity）是轻微的幻觉类别，随着LLM大小的增加，表现出减少的希望之光（SL）倾向；相反，像时间错位（Time Wrap）和地理错误（Geographic Erratum）这样的复杂类别变得更为普遍。值得注意的是，从GPT-3.5到GPT-4，虚拟声音（Virtual Voice）显著增加。
When Do Pre-Training Biases Propagate to Downstream Tasks? A Case Study in Text Summarization
EACL 2023 | 作者包含Dan Jurafsky, Kathleen McKeown, 和Tatsunori Hashimoto | Columbia U, Stanford U
模型在pre-training中学到的bias会造成下游任务的hallucination。 adaptation和新数据fine tuning能够缓解，但并不能改变bias的倾向种类。 越是面向抽象任务的模型（相比抽出模型而言），越容易传播其bias。
intrinsic evaluations (任务无关、语言内在如PPL) vs. extrinsic evaluations (任务相关，如MT的BLEU)
- 贡献：out-of-distributiuon evaluation dataset （感觉st也是建立这样的extrinsic eval数据集了。）
Adapter-fine-tuning that fine-tune a smaller number of parameters generate fewer hallucinations than fine-tuning the entire model
这里的hallucination是在summarization时，输入条件和参数之间的选择矛盾。
LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples
ICLR 2024 | 北大 这篇找到hallucination是LLM一个本质现象，能够从OoD/非人类常用语言空间中，诱发出来幻觉。 （但另一方面，我觉得训练时的遗忘和归一化造成的，要是能把一般能力和外部知识分开就好了，但一方面界限可能并不那么容易划，另一方面，即使能划也可能影响能力？LLM的前期过程是完全被动的，没有自己的归纳整理）
方法（通过梯度逆向工程来寻找神奇prompt、不同程度的adversarial examples）：
- 预定一些hallucination句子/输出，然后通过梯度和替换输入中的词来来找到这个输出对应的两种输入：
- Weak semantic attack
- Out-of-Distribution (OoD) attack
观察
- 从最后结果看，通过OoD激发了hallucination
- 其实和Auto/RLPrompt一样，都说明LLM的向量空间和人的不太一样。至少从adversarial examples中看出不平整。
【需要进一步看懂梯度的方法】
ChatGPT is fun, but it is not funny! Humor is still challenging Large Language Models
2023 Workshop on Computational Approaches to Subjectivity, Sentiment “oxymoron” Despite being fun to interact with, ChatGPT doesn't have the ability to be humorous or comedic in the same way humans are.
古今ChatGPT笑话集（25个）
生成、解释，然后 研究笑话的视点（解构）
（没看完，只到笑话人工聚类。）
Let’s Think Outside the Box: Exploring Leap-of-Thought in Large Language Models with Creative Humor Generation
2024 | Sea AI Lab, 中山大学, Harvard U
Oogiri game （大喜利）