AgentBench是一个系统的基准，用于评估大语言模型（LLM）作为代理执行实际任务的能力。该团队认为关于LLM的代理能力主要包含以下部分:
- 理解人类意图并执行指令
- 编码能力
- 知识获取和推理
- 策略决策
- 多轮一致性
- 逻辑推理
- 自主探索
- 可解释的推理
只有LLM能完成上述具体任务，才可能承担好AI Agent的工作。为此，AgentBench创建了8个不同的场景，针对上述能力来评估LLM作为Agent的表现，包括：
- 操作系统：评估LLM在Linux系统的bash环境中的操作能力，如文件操作、用户管理等。
- 数据库：考察LLM利用SQL操作给定的数据库完成查询、修改等任务。
- 知识图谱：需要LLM利用给定的工具查询知识图谱，完成复杂的知识获取任务。
- 卡牌游戏：将LLM视为玩家，根据规则和状态进行数字卡牌游戏，评估策略决策能力。
- 横向思维难题：提供难题故事，LLM需要进行问答来推理得到真相，检查横向思维能力。
- 家庭环境：在模拟的家中场景下，LLM需要自主完成日常任务，如搬移物品等。
- 网络购物：按照要求在模拟购物网站上浏览和购买商品，评估自主探索决策能力。
- 网页浏览：在真实网页环境中，根据高级指令实现操作序列，完成网页任务。
很显然，如果LLM可以在上述场景中表现很好，那么作为Agent肯定也会非常棒。