本文是LLM系列文章，针对《Information Retrieval Meets Large Language Models: A Strategic Report from Chinese IR Community》的翻译。
信息检索与大型语言模型相遇——来自中国信息检索社区的战略报告
摘要
信息检索（IR）的研究领域已经发生了重大变化，超越了传统的搜索，以满足不同的用户信息需求。最近，大型语言模型（LLM）在文本理解、生成和知识推理方面表现出了非凡的能力，为IR研究开辟了令人兴奋的途径。LLM不仅有助于生成检索，还为用户理解、模型评估和用户系统交互提供了改进的解决方案。更重要的是，IR模型、LLM和人类之间的协同关系形成了一种新的技术范式，对信息寻求来说更为强大。IR模型提供实时和相关的信息，LLM贡献内部知识，人类在信息服务的可靠性方面扮演着需求者和评估者的核心角色。尽管如此，仍然存在重大挑战，包括计算成本、可信度问题、特定领域的限制和道德考虑。为了深入讨论LLM对IR研究的变革性影响，中国IR界于2023年4月举办了一次战略研讨会，产生了宝贵的见解。本文总结了研讨会的成果，包括对IR核心价值观的反思，LLM和IR的相互增强，提出了一种新的IR技术范式，以及公开挑战。
1 引言
2 重启思考IR的核心价值
3 大语言模型用于IR
4 IR用于大语言模型
5 LLMs+IR：新的范式和框架
6 挑战与未来
虽然LLM用于IR有希望，但它们也带来了许多挑战和未回答的问题。在本文的最后一部分，我们将讨论一些选定的问题，以概述未来的发展方向。
- 计算成本高。使用LLM的主要挑战是它们的高计算成本。这对中小型研究实验室和公司构成了重大障碍，阻碍了他们将LLM整合到日常工作流程和产品中。由于用户请求量巨大，即使是拥有充足计算资源的大公司在为在线搜索、推荐和广告服务部署LLM时也面临成本压力。常见的解决方案包括压缩LLM，将其大小从数千亿减少到数百亿甚至更小，尤其是在在线部署之前。此外，正在努力开发更高效、更具成本效益的训练和推理硬件，以应对成本挑战。
- 通用与特定领域。LLM在文本生成和聊天等通用任务中表现出了令人印象深刻的能力，因为它们在大规模互联网语料库上进行了预训练和微调。然而，人们普遍认识到，LLM在适应特定领域的任务时面临局限性。一方面，高质量的专业领域知识通常在互联网上并不丰富，这使得对LLM进行预训练和微调变得令人望而却步。另一方面，特定领域的知识并不总是用自然语言表达；它可以表示为半结构化或结构化的表、启发式规则、方程等等。使LLM能够有效地处理特定领域的任务不仅对特定领域本身至关重要，而且对增强LLM的整体能力和应用程序也至关重要。
- 值得信赖。人们普遍担心LLM目前缺乏为用户查询提供可靠和值得信赖的答案的能力。虽然LLM可以产生解释和引用来源，但据观察，这些解释和引用中有很大一部分是不合逻辑的、不恰当的，甚至是假的。这在现实世界的搜索和推荐场景中构成了巨大的风险，因为产生误导性的解释、答案和信息来源可能会对整个社区产生不利影响。为了解决这一问题并提高LLM的可信度，让LLM清楚地了解其知识和局限性至关重要。一个潜在的解决方案是允许LLM在不确定的情况下拒绝提供答案。
- 可控生成。考虑到搜索引擎和推荐系统的公共性质，在向用户展示内容时，必须考虑到公平、公正和人类价值观等监管和道德因素。虽然LLM在生成文本方面表现出熟练，但他们往往对生成的单词背后的含义缺乏深入的理解。确保生成的内容符合必要的监管和道德要求仍然是一项重大挑战，目前还没有有效的解决方案。
- 高质量数据：高质量数据在LLM的开发和改进中发挥着至关重要的作用。LLM的成功在很大程度上依赖于人类标记数据的持续提供。至关重要的是，标记的数据不仅满足一定的数量阈值，而且保持高质量。在现实应用场景中获取高质量数据涉及多个步骤，如数据清理、数据标记和数据质量评估。专业的数据注释提供者在支持这些过程中发挥着至关重要的作用。此外，必须开发先进、专业和可持续的数据注释方法，以满足LLM应用程序中对高质量数据日益增长的需求。
- 长上下文依赖性。现有的LLM处理长上下文的能力有限，而IR任务依赖于长上下文来有效地捕捉和理解用户意图。使LLM增强的IR系统能够模拟用户跨越大范围的长期意图是至关重要的。
- 服务时间要求。服务LLM结果的延迟显著滞后于信息检索（IR）系统的时间要求。这在将LLM集成到IR时带来了效率挑战，从而影响了在线用户体验。
- 演示文稿格式。传统的IR系统提供内容的排序列表，而LLM擅长生成新信息。如何在LLM增强的IR中设计一种新的表示格式来有效地满足用户需求仍然是一个悬而未决的问题。
- 整合结构信息。LLM主要依赖于文本序列信息，而IR系统需要集成结构信息，如用户-项目交互和web链接数据。在基于LLM的IR系统中有效利用这种结构信息是一个尚未解决的问题。
- 生成数据和检索数据之间的平衡。LLM利用深度学习和强化学习来大规模生成内容，但其生成的内容在新鲜度和可信度方面可能存在局限性。相反，检索可以提供来自Web的内容，从而确保最新的信息。在实际应用程序中平衡这两种类型的数据是提高整体性能的一个重大挑战。一种方法是细化用户需求并将其分类为不同的组，从而允许适当的数据生成方法或平衡比率。此外，检索可以用于提供附加信息以增强内容生成，或者帮助筛选和过滤生成的内容以获得信息基础。
- 内容质量和可信度。虽然LLM在生成内容方面很有效，但它们也可能生成低质量甚至充满错误信息的内容。互联网上此类内容的激增可能会破坏现有的数据生态，并影响搜索引擎和推荐系统等应用程序。在这种情况下，像PageRank这样的传统质量评估技术可能并不有效。现有技术很难识别低质量或误导性的内容。在人工智能生成内容的时代，需要新的机制来评估数据质量，并区分生成内容和可靠内容。一种方法是手动或社区审查，以确保内容的准确性，但这很耗时，而且扩展性不好。另一种方法是利用LLM驱动的机器学习技术来训练能够识别人工智能生成的内容并评估其质量的模型。然后可以应用这些模型来选择、标记或筛选不同应用程序的内容。
- 内容创建环境。生成内容的激增给内容创作者带来了挑战，甚至可能重塑内容生态系统。生成内容的存在加剧了内容市场的竞争，促使内容创作者不断提高写作质量，促进创新，并主动适应行业变化。此外，它可能会影响用户对内容的价值感知和需求，促使内容创作者不断调整他们的写作方法和策略。尽管面临挑战，LLM也为内容创作者提供了新的合作机会，并开发了有效的平台，以促进更高效、更高质量的内容生成。