【大语言模型-论文精读】GPT’s Judgements Under Uncertainty
Authors: Payam Saeedi and Mahsa Goodarzi
论文：https://arxiv.org/pdf/2410.02820
文章标题翻译
GPT的不确定性判断
Payam Saeedi Rochester Institute of Technology
Mahsa Goodarzi The State University of New York at Albany
摘要
本文研究了人类认知中的固有偏见（例如损失厌恶、框架效应和合取谬误）是否体现在GPT-4o在概率场景中的判断和决策中。通过在九种认知偏见上进行1350次实验，并分析统计与启发式推理的回答，我们展示了GPT-4o在回应具有相似底层概率表示的提示时的矛盾方法。研究结果还揭示了AI的表现参差不齐，它既展示了类似人类的启发式错误，也做出了统计上合理的决策，尽管它经历了相同提示的相同迭代。
创新点
- 认知偏见的AI体现: 研究了人类认知偏见是否以及如何体现在大型语言模型（LLMs）的决策和判断中。
- 大规模实验: 在九种不同的认知偏见上进行了1350次实验，以评估GPT-4o的反应。
- 统计与启发式推理的对比: 分析了GPT-4o的回答是属于统计推理还是启发式推理。
算法模型
- GPT-4o: 使用OpenAI的API进行实验，GPT-4o是目前为止OpenAI提供的速度最快、效率最高的模型。
- 零次推理链: 在实验中使用了零次推理链提示技术，让AI以“参与社会实验的人类”的角色进行回答。
实验效果
- 实验总数: 1350次
- 详细数据:
- 合取谬误: GPT-4o在所有实验中几乎总是提供了统计上合理且正确的回答。
- 概率忽视: 在某些概率忽视实验中，GPT-4o能够正确理解并应用概率概念。
- 框架效应: GPT-4o在正负框架的同一场景中给出了矛盾的回答。
- 损失厌恶和展望理论: GPT-4o在大多数实验中未能考虑基于硬币翻转结果的预期价值。
- 结论: GPT-4o在处理某些类型的认知偏见时表现出了较高的性能，但在特定条件下仍然容易受到认知偏见的影响。
文章中提到的GPT-4o模型在处理认知偏见方面的表现呈现出一种混合的模式，它在某些领域做得较好，而在其他领域则存在明显的不足。具体而言，如下
做得好的方面：
-
合取谬误（Conjunction Fallacy）：
- GPT-4o在处理合取谬误方面表现出色，始终提供了统计上合理且正确的回答。它能够理解并且正确地应用概率原则，即两个集合的交集总是小于任一集合的大小。
-
某些概率忽视（Probability Neglect）：
- 在某些概率忽视的实验中，GPT-4o能够正确地识别事件的独立性，并据此做出反应。例如，当询问一系列硬币投掷中出现正面的概率时，GPT-4o能够坚持每次投掷的概率是独立的。
有待改进的方面：
-
偏见相似性（Bias of Resemblence）：
- GPT-4o在识别和处理偏见相似性方面表现不佳，几乎在所有情况下都依赖于简化的启发式方法，而不是基于基础概率进行判断。
-
框架效应（Framing Effect）：
- 在框架效应的实验中，GPT-4o对于同一场景的不同表述给出了矛盾的回答，表现出了与人类类似的启发式错误。
-
损失厌恶（Loss Aversion）和展望理论（Prospect Theory）：
- GPT-4o在处理损失厌恶和展望理论相关的实验时，往往忽略了基于硬币投掷结果的预期价值，倾向于选择风险较小的选项，而不是根据概率计算预期价值。
-
沉没成本谬误（Sunk Cost Fallacy）：
- 尽管GPT-4o能够识别沉没成本谬误并正确引用这一概念，但在实验中它在82%的情况下正确回答，仍有18%的情况未能正确处理。
推荐阅读指数
★★★★☆
推荐理由:
- 研究的创新性: 该研究探讨了AI在模拟人类决策过程中的认知偏见，这是一个相对较新且重要的研究领域。
扣分理由:
- 模型的泛化能力: 研究仅在GPT-4o上进行，可能无法完全泛化到其他模型。
- 实验设计的局限性: 使用零次推理链提示技术可能不能完全代表现实世界中LLM的应用情境。
后记
如果您对我的博客内容感兴趣，欢迎三连击(点赞，关注和评论)，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习，计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。