Are Large Language Models Chameleons?

本文是LLM系列文章,针对《Are Large Language Models Chameleons?》的翻译。

摘要

大型语言模型 (LLM) 有自己的世界观和个性倾向吗?要求 LLM 回答主观问题的模拟进行了超过 100 万次。将不同 LLM 的回答与欧洲社会调查 (ESS) 的真实数据进行比较表明,提示对偏见和可变性的影响是根本性的,突出了主要的文化、年龄和性别偏见。讨论了测量 LLM 和调查数据之间差异的方法,例如计算加权平均值和受 Jaccard 相似性启发的新提议的度量。我们得出的结论是,在使用 LLM 对个人决策或集体行为进行建模之前,分析提示的稳健性和可变性很重要,因为它们的模仿能力充其量只是近似的。

1 引言

2 相关工作

3 数据和模型

4 方法

5 结果

6 结论

LLM 可以调整自己以像变色龙一样冒充人类吗?这取决于模仿的对象和给定 LLM 的能力。无论 LLM 对齐的目标和过程如何,我们的结果都反映了明显的地理不平衡:相对于其他国家的人,保加利亚人的模拟效果更差,原因还

猜你喜欢

转载自blog.csdn.net/c_cpp_csharp/article/details/143461630