本文是LLM系列文章,针对《Are Large Language Models Chameleons?》的翻译。
摘要
大型语言模型 (LLM) 有自己的世界观和个性倾向吗?要求 LLM 回答主观问题的模拟进行了超过 100 万次。将不同 LLM 的回答与欧洲社会调查 (ESS) 的真实数据进行比较表明,提示对偏见和可变性的影响是根本性的,突出了主要的文化、年龄和性别偏见。讨论了测量 LLM 和调查数据之间差异的方法,例如计算加权平均值和受 Jaccard 相似性启发的新提议的度量。我们得出的结论是,在使用 LLM 对个人决策或集体行为进行建模之前,分析提示的稳健性和可变性很重要,因为它们的模仿能力充其量只是近似的。
1 引言
2 相关工作
3 数据和模型
4 方法
5 结果
6 结论
LLM 可以调整自己以像变色龙一样冒充人类吗?这取决于模仿的对象和给定 LLM 的能力。无论 LLM 对齐的目标和过程如何,我们的结果都反映了明显的地理不平衡:相对于其他国家的人,保加利亚人的模拟效果更差,原因还