文章主要内容总结
本文研究了大型语言模型(LLMs)在战略决策任务中存在的偏见强化问题,指出传统自我修正方法(如自我一致性和自我精炼)及多智能体辩论(MAD)的局限性。作者提出以下核心观点:
- 偏见强化现象:LLMs在辩论中倾向于放大固有偏见而非纠正错误,导致次优决策。
- 视角单一性:现有MAD框架依赖同一模型的多个实例,缺乏真正的视角多样性。
- MetaNIM Arena基准:设计了一个基于组合博弈论的严格评估环境,用于量化LLMs的战略推理能力。
- DReaMAD框架:通过结构化提示优化和视角多样化,显著提升决策准确性和减少偏见,在NIM、Fibonacci等博弈任务中取得显著效果。
创新点
-
首次揭示MAD的偏见强化机制:
通过实验证明,MAD会系统性放大模型的固有偏见(包括正确和错误偏见),而非促进理性辩论。 -
提出MetaNIM Arena基准:
构建了一个基于组合博弈论的评估框架