Google 于 2023 年 5 月 10 日发布了 PaLM 2，作为对 OpenAI GPT-4 的有价值的回应。在最近的 I/O 活动中，Google 推出了迷人的 PaLM 2 型号系列，从最小到最大：Gecko、Otter、Bison 和 Unicorn。根据 Google PaLM 2 技术报告（参见表 5 和表 7），PaLM2 不仅比以前的 PaLM 更好、更快、更小，而且在某些推理领域也优于 gpt-4。
和其他许多人一样，在Outside，我们正在学习采用法学硕士来更好地为我们的户外社区服务。最近，我们有机会使用外部的真实用例对 PaLM2 和 GPT-3.5 进行测试。如果您正在考虑选择 Google 和 OpenAI 作为您的 LLM 提供商，或者您只是想学习如何构建一个配备了知识库工具搜索和问答功能的 Langchain 代理，我希望这篇文章可以为设计一个适合您领域的评估框架。
在这篇文章中，我将分享我们对四个关键领域的探索：
方法论和技术平台：Pinecone、Langchain、LLM（PaLM2 和 GPT-3.5）
推理速度和答案质量：通过代码示例比较 Langchain 的检索 QA 链和对话检索链的性能
代理使用工具和遵循说明：使用 Langchain 的conversational-react-description代理与 Google 搜索 API (SerpApi)
小型谈话和安全问题的表现
旁注：我用来提示中途创建特征图像的咒语是：
yellowstone park with rainbow background, vintage travel poster style, impressive landscape, impressive panoramas, — ar 16:9 — v 5