大家好，今日必读的大模型论文来啦！
1.UC 伯克利团队：VLM 任务向量是跨模态的
加州大学伯克利分校的研究团队研究了视觉语言模型（VLM）的内部表征以及它们如何编码任务表征。他们考虑了通过使用文本或图像输入的示例或指令指定的任务。令人惊讶的是，他们发现概念上相似的任务会被映射到相似的任务向量表征中，而不管它们是如何被指定的。
研究结果表明，为了输出答案，VLM 中的 token 需要经历三个不同的阶段：输入、任务和答案，这一过程在不同的模态和规格中都是一致的。他们在 VLM 中识别出的任务向量具有足够的通用性，可以在一种模态（如文本）中衍生，并转移到另一种模态（如图像）中。此外，他们还发现，将基于范例和指令的任务向量组合在一起能产生更好的任务表征。综上所述，这些见解揭示了 VLM 的内在机制，特别是它们在不同模态和任务规范中以共享方式表示任务的能力。
论文链接：
https://arxiv.org/abs/2410.22330
项目地址：
https://task-vectors-are-cross-modal.github.io/
2.ReDE-RF：利用相关性反馈嵌入进行零样本密集检索
在相关性监督不可用的情况下，建立有效的密集检索系统仍然很困难。最近的研究通过使用大语言模型（LLM）生成假设文档来克服这一难题，这些假设文档可用于查找最接近的真实文档。然而，这种方法完全依赖于 LLM 拥有与查询相关的特定领域知识，这可能并不现实。此外，生成假设文档的效率也不高，因为它要求 LLM 为每个查询生成大量 token。
为了应对这些挑战，来自麻省理工学院林肯实验室和麻省理工学院的研究团队提出了相关性反馈真实文档嵌入（ReDE-RF）。受相关性反馈的启发，ReDE-RF 提议将假设文档生成重新构建为相关性估计任务，使用 LLM 来选择哪些文档应被用于近邻搜索。通过这种重构，LLM 不再需要特定领域的知识，而只需要判断哪些是相关的。
此外，相关性估计只需要 LLM 输出一个 token，从而改善了搜索延迟。他们的实验表明，在各种低资源检索数据集上，ReDE-RF 始终超越 SOTA 的零样本密集检索方法，同时还显著改善了每次查询的延迟。
论文链接：
https://arxiv.org/abs/2410.21242
3.利用前缀共享加速直接偏好优化
离线配对偏好优化算法已成为偏好数据微调的一种流行方法，在各种任务中的表现优于传统的监督微调。然而，传统的实现方法往往涉及冗余计算，特别是对于共享提示较长的任务。
来自麻省理工学院和 Anyscale 的研究团队推出了用于偏好调整的前缀共享技术，其可将选择和拒绝的响应作为一个具有共享前缀的序列进行处理。为了防止交叉反应污染，他们使用了自定义稀疏注意力机制掩码。在流行的 DPO 数据集上，他们的方法提高了 1.1-1.5 倍的训练吞吐量，且对收敛性没有任何影响。当与序列打包相结合时，他们观察到一致的 1.3-1.6 倍的速度提升，即使是序列长度较小的数据集也能从中受益。
虽然他们专注于直接偏好优化（DPO），但他们的方法也适用于其他配对偏好调整方法。
论文链接：
https://arxiv.org/abs/2410.20305
GitHub 地址：
https://github.com/frankxwang/dpo-prefix-sharing
4.Google DeepMind：通过概率可发现抽取测量记忆率
大语言模型（LLM）很容易记忆训练数据，由于可能会抽取敏感信息而引发担忧。目前测量 LLM 记忆率的方法主要是可发现提取法（Carlini 等人，2022 年），这种方法依赖于单序列贪婪采样，有可能低估记忆的真实程度。
在这项工作中，来自 Google DeepMind 和波士顿大学的研究团队提出了可发现提取的概率松弛方法，该方法量化了在一组生成的样本中提取目标序列的概率，同时考虑了各种采样方案和多次尝试。这种方法通过考虑 LLM 和用户交互模式的概率性质，解决了通过可发现提取报告记忆率的局限性。
他们的实验证明，与通过可发现提取发现的记忆率相比，这种概率测量方法可以揭示出更高记忆率的案例。他们进一步研究了不同采样方案对可提取性的影响，从而对 LLM 记忆及其相关风险进行了更全面、更现实的评估。
论文链接：
https://arxiv.org/abs/2410.19482