源自: AINLPer（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2025-3-19

更多：>>>>专注大模型/AIGC、学术前沿的知识分享！

引言

前几天，整理了大模型Agent的相关知识，收到了很多小伙伴的关注留言，非常感谢。还有不了解的可以看一下这篇文章：----。今年大模型Agent的风口确实很强，那么今天作者就继续再给大家认真盘一盘大模型Agent在各个领域的“花式玩法”，涉及电影、博客、医疗、金融分析、软件、数据可视化、新闻审查、具身AI、web导航等，并且基本上都有源码的。如果你正在做这方面的工作，亦或者是正在寻求Agent应用灵感，这篇文章或许对你有帮助。

电影生成

现有的长视频生成框架缺乏自动化规划，需要人工输入剧情、场景、摄影和角色互动，导致成本高昂且效率低下。

为此，新加坡国立大学提出了 MovieAgent，这是一种通过多智能体链式思维（CoT）规划实现自动化电影生成的方法。MovieAgent能够根据剧本和角色库生成多场景、多镜头的长视频，并保持叙事连贯性、角色一致性、字幕同步和稳定音频。其引入的层次化CoT推理过程自动构建场景、相机设置和电影摄影，显著减少人力投入。通过模拟导演、编剧、故事板艺术家和场地经理等角色，MovieAgent简化了生产流程，并在脚本忠实度、角色一致性和叙事连贯性方面取得了新进展。

源码：https://github.com/showlab/MovieAgent

数据可视化

科学数据可视化对于将原始数据转化为易于理解的视觉表示至关重要，能够帮助进行模式识别、预测和数据驱动的见解呈现。然而，尽管大型语言模型（LLM）在辅助代码生成方面显示出潜力，但在准确性方面仍存在挑战，并需要反复调试。

为此，Adobe提出多Agent框架：PlotGen，可以自动实现科学数据可视化。这是一个多代理框架，用于自动化创建科学数据可视化。PlotGen通过多个LLM代理协作完成任务：查询规划代理将用户请求分解为可执行步骤，代码生成代理将伪代码转换为Python代码，而三个反馈代理利用多模态LLM对生成图表的数据准确性、文本标签和视觉效果进行迭代优化。实验表明，PlotGen在MatPlotBench数据集上比现有方法表现更好，性能提升了4-6%。

播客生成

现有的自动音频生成方法在生成类似播客的音频节目时面临挑战，尤其是在深度内容生成和富有表现力的声音制作方面。

港中大提出了PodAgent框架，旨在有效生成类似播客的音频节目。PodAgent通过多代理协作系统生成内容丰富的讨论话题，构建声音池以匹配适合的声音角色，并利用LLM增强的语音合成方法生成富有表现力的对话语音。实验结果表明，PodAgent在话题讨论对话内容生成上显著优于直接GPT-4生成，在声音匹配准确性上达到87.4%，并能产生更具表现力的语音。

源码：https://github.com/yujxx/PodAgent

新闻事实核查

在数字化时代，网络谣言对社会构成威胁，因此自动检测假新闻的需求上升。大型语言模型（LLMs）因其在自然语言处理领域的卓越表现，被探索用于新闻事实核查。

西北大学(US)提出了FactAgent，一种无需训练即可使用LLMs识别假新闻的新方法。FactAgent模拟专家，通过简化的步骤和内置知识或工具来验证新闻真实性，并在决策过程中提供清晰解释。它比传统人工核查更高效，并且能够适应不同新闻领域。

GitHub 问题解决

GitHub issue 自动消解引起了学术界和工业界的极大关注。普林斯顿大学的 NLP 小组提出了 SWE-bench 用于自动衡量大模型解决这个任务的能力。

面对这个问题，华为&&中科大等提出了一个新的框架 CodeR，专注GitHub问题解答，具体来说它采用了多智能体（Multi-Agent）和预先定义的任务图（Task Graph）来自动解决 GitHub 的 issues：1. 修复和解决 issue 中报告的错误（fix bug），2. 根据issue描述在代码仓库中添加新功能特性（add new feature）。

源码：https://github.com/NL2Code/CodeR

软件调试

软件调试是一项耗时的工作，涉及故障定位和补丁生成等一系列步骤，每一步都需要深入分析和对底层逻辑的深刻理解。尽管大型语言模型（LLM）在编程任务中展现出潜力，但在调试方面表现仍然有限。

为此，港大提出了FixAgent，它是一个自动化软件调试框架，它利用大型语言模型克服了传统调试工具的三个主要难题：故障定位不精确、复杂逻辑错误处理不足和程序上下文忽视。该框架借鉴了人类调试技巧，通过专业化代理协同、关键变量追踪和程序上下文理解等设计，提高了调试的准确性和效率。与现有的调试模型相比，FixAgent的平均Bug修复准确率提高了20%，且整体正确率高达97.26%。

源码：https://github.com/AcceptePapier/UniDebugger

金融分析

AI4Finance提出了一个开源的大模型AGent平台，旨在帮助金融专业人士和普通用户利用大型语言模型（LLMs）进行高级金融分析。

FinRobot包含四个主要层：1、金融AI代理层：将复杂问题分解为逻辑步骤。2、金融LLM算法层：为特定任务配置模型应用策略。3、LLMOps和DataOps层：通过训练和微调技术，使用相关数据生成准确模型。4、多源LLM基础模型层：集成多种LLM，提供直接访问。FinRobot通过这些层，推动金融领域AI的更广泛应用。

源码：https://github.com/ai4finance-foundation/fingpt

系统资源管理

当前的智能代理在资源分配和利用方面存在效率低下甚至潜在有害的问题，且缺乏合理的调度和资源管理机制，限制了系统的整体效率。

为此，RU创新性的提出一个基于大模型的操作系统架构：AIOS，该架构将LLM作为操作系统的“大脑”，优化Agent请求的调度，支持上下文切换，实现并发执行，并提供工具服务和访问控制，结果表明AIOS在多Agent并行执行时的可靠性和效率，展示了其在改善资源利用和提升Agent性能方面的潜力。

源码：https://github.com/agiresearch/AIOS

医疗助理

三星一种基于多Agent的医疗助理系统，旨在解决隐私、延迟和对互联网访问依赖等挑战。

具体来说，该系统通过小型、任务特定的Agent优化资源，确保可扩展性和高性能。该系统具备预约、健康监测、药物提醒等功能，使用Qwen Code Instruct 2.5 7B模型的Planner和Caller Agent，在规划和呼叫任务中分别达到85.5和96.5的平均RougeL分数，适合在设备上部署。这种创新方法结合了设备端系统与多智能体架构的优势，为以用户为中心的医疗解决方案开辟了新路径。

源码：https://github.com/sakharamg/Multi-Agent-Health-Assistant/

具身领域

在具身人工智能领域，处理部分观察信息是一个主要难题。以往的研究通常通过让代理实际探索环境来更新对世界状态的理解。而人类可以通过想象来探索未见的世界部分，并据此更新认知，从而做出更明智的决策。为了模拟这种人类能力，

JHU提出了Genex框架，它可以让Agent在心理上探索3D世界，如城市场景，并获取想象的观察来更新其信念，以做出更好的决策。

源码：https://github.com/Beckschen/genex

Web信息检索增强

INFOGENT框架

为了让大模型Agent的联网信息检索能力更强。UIUC 提出了INFOGENT框架，专门用于网络信息聚合，由三个核心组件构成：导航器（Navigator）、提取器（Extractor）和聚合器（Aggregator）。导航器负责在网页中搜索相关信息源并识别合适的网页；提取器从选定的网页中提取相关内容并传递给聚合器；聚合器则评估提取的内容，决定是否将其纳入最终输出，并向导航器提供反馈以指导后续搜索方向。

INFOGENT支持两种信息访问设置：直接API驱动访问和交互式视觉访问。直接API驱动访问依赖文本视图的网络，利用外部工具（如Google Search API）进行导航和爬虫提取内容；交互式视觉访问则使用网页截图并需要与浏览器交互来导航和访问信息。实验表明，INFOGENT在不同设置下均表现出色：在直接API驱动访问下，INFOGENT在FRAMES数据集上比现有的SOTA多Agent搜索框架MindSearch高出7%；在交互式视觉访问下，INFOGENT在AssistantBench数据集上比现有的信息搜索网络代理高出4.3%。

源码：https://github.com/Agent-Lite/MedicalAssistant

AutoWebGLM

大多数现有代理在现实世界的 Web 导航任务中的表现都远远不能令人满意：(1) HTML 文本数据的复杂性 (2) 网页上操作的多样性，以及 (3) 由于 Web 的开放域性质而导致的任务难度。

为此，智谱提出了一个名为AUTOWEBGLM的新型自动化web导航Agent，它通过简化网页内容和使用AI技术来解决现有web Agent处理真实网页时的挑战。AUTOWEBGLM通过特别设计的算法来表示网页，保留重要信息，并利用混合人工智能方法进行训练。此外，该Agent通过强化学习和拒绝采样技术来提高对网页的理解能力和执行任务的效率。

源码：https://github.com/THUDM/AutoWebGLM

更多：>>>>专注大模型/AIGC、学术前沿的知识分享！

推荐阅读

[1] 一文了解大模型Function Calling
[2] 2025年的风口！| 万字长文让你了解大模型Agent
[3] 万字长文！最全面的大模型Attention介绍，含DeepSeek MLA，含大量图示！
[4]一文带你详细了解：大模型MoE架构（含DeepSeek MoE详解）
[5] 颠覆大模型归一化！Meta | 提出动态Tanh：DyT，无归一化的 Transformer 性能更强