Windows手动查找和导出 Ollama 模型文件

介绍

Ollama 是一款强大的本地大型语言模型运行框架，它让用户能够在本地设备上轻松部署和使用各种 AI 模型。然而，在某些场景下，我们可能需要手动查找和导出 Ollama 模型文件，而不是仅仅依赖官方提供的命令行工具。本文将详细解释为什么需要这样做，以及这种方法能解决哪些实际问题。

为什么需要手动查找和导出 Ollama 模型文件？

1. 离线环境部署需求

许多企业和组织的生产环境是完全隔离的，没有互联网访问权限。这意味着无法使用标准的 ollama pull 命令从网络下载模型。手动导出和导入模型是在这些环境中部署 Ollama 的唯一方式。

2. 网络限制和带宽优化

在网络条件不佳或带宽受限的环境中，重复下载大型模型文件（通常为几 GB 到几十 GB）会浪费宝贵的网络资源。通过在一台机器上下载一次，然后手动导出并分发到多台机器，可以显著减少网络负担。

3. 模型定制与修改

当您需要对模型进行自定义修改（如调整参数、融合不同模型的组件等），了解模型文件的结构和位置是必不可少的。手动查找模型文件使您能够深入了解模型的组成部分，以便进行更精细的调整。

4. 版本控制和备份

手动导出模型允许您创建特定版本模型的快照，这对于确保环境一致性和进行备份至关重要。这样，即使官方仓库中的模型发生变化，您也能保留并使用之前的版本。

5. 解决 Ollama 工具限制

Ollama 当前没有提供原生的模型导出功能。了解如何手动查找和导出模型文件可以弥补这一功能缺失，使您能够更灵活地管理模型文件。

6. 多环境部署策略

在开发、测试和生产环境之间迁移模型时，手动导出和导入通常比在每个环境中重新拉取模型更高效、更可控。这确保了所有环境使用完全相同的模型版本。

7. 自定义部署架构

在特殊的部署架构中（如自定义容器化环境、微服务架构或边缘计算设备），您可能需要以 Ollama 未直接支持的方式管理和分发模型文件。手动导出模型使这些高级部署场景成为可能。

手动查找和导出带来的技术优势

更深入的技术理解

通过手动查找模型文件，您可以学习到 Ollama 如何组织和管理模型数据，包括：

模型的层次结构和组件
模型的元数据和配置信息
模型文件的存储格式和压缩方式

更精确的资源控制

了解模型的具体组成部分能够：

只复制必要的文件，减少存储需求
优化模型加载和运行时的性能
排除不需要的组件（如不使用的权重或功能）

更灵活的部署选项

掌握模型文件的手动导出使您能够：

实现自定义的多阶段部署流程
为部署创建自动化脚本和工具
与现有的 CI/CD 管道和容器化工作流集成

实际应用场景

企业内部 AI 服务部署

在企业环境中，IT 管理员可能需要在多台服务器上部署相同的 Ollama 模型。通过手动导出和导入，可以确保每台服务器使用完全相同的模型版本，同时最大限度地减少带宽使用和下载时间。

边缘设备和 IoT 部署

在边缘计算设备上部署 AI 模型时，这些设备通常网络连接有限且存储空间受限。手动导出精确的模型文件使您能够优化这些资源受限环境中的部署。

定制 AI 解决方案开发

开发定制 AI 解决方案的团队可能需要深入了解模型结构，以便进行特定的优化或修改。手动查找模型文件提供了这种深入研究的能力。

灾难恢复和业务连续性

通过手动导出关键 AI 模型，组织可以创建可靠的备份，确保在模型仓库不可用或发生意外更改时能够恢复服务。

一、确认模型信息

首先，确认您要导出的模型名称和版本：

# 列出所有已安装的模型
ollama list

想要导出的模型的完整名称（例如：nomic-embed-text:latest 或 modelscope.cn/Qwen/Qwen2.5-1.5B-Instruct-GGUF:latest）。
在这里插入图片描述

二、获取模型详情

获取模型的详细信息和模型文件：

# 查看模型详情
ollama show 模型名称:标签

# 查看模型文件定义
ollama show 模型名称:标签 --modelfile

例如：ollama show modelscope.cn/Qwen/Qwen2.5-1.5B-Instruct-GGUF:latest --modelfile
在这里插入图片描述

三、定位 manifest 文件

Ollama 模型的 manifest 文件通常位于以下路径：

C:\Users\<用户名>\.ollama\models\manifests\<仓库名>\<组织或用户名>\<模型名>\latest

例如：
● 对于官方模型：C:\Users<用户名>.ollama\models\manifests\registry.ollama.ai\library<模型名>\latest
● 对于 modelscope 模型：C:\Users<用户名>.ollama\models\manifests\modelscope.cn<组织名><模型名>\latest

可以通过以下命令查找：

# 查找特定模型的 manifest 文件
dir "C:\Users\<用户名>\.ollama\models\manifests" -Recurse | findstr "<模型名>"

# 或者列出所有 manifest 文件
Get-ChildItem "C:\Users\<用户名>\.ollama\models\manifests" -Recurse -File | Select-Object FullName

在这里插入图片描述

四、查看 manifest 内容

当您找到 manifest 文件后，查看其内容：

type "C:\Users\<用户名>\.ollama\models\manifests\<仓库名>\<组织或用户名>\<模型名>\latest"

在这里插入图片描述

{
    
    
"schemaVersion":2,
"mediaType":"application/vnd.docker.distribution.manifest.v2+json",
"config":{
    
    
"mediaType":"application/vnd.docker.container.image.v1+json",
"digest":"sha256:38a67c3fe6fbc65feeb44aabd539206086e3e8a7ddf0fc7016800c4ffce1ff50",
"size":192
},
"layers":[
{
    
    
"mediaType":"application/vnd.ollama.image.model",
"digest":"sha256:6a1a2eb6d15622bf3c96857206351ba97e1af16c30d7a74ee38970e434e9407e",
"size":1117320736
},
{
    
    
"mediaType":"application/vnd.ollama.image.template",
"digest":"sha256:eb4402837c7829a690fa845de4d7f3fd842c2adee476d5341da8a46ea9255175",
"size":1482
},
{
    
    
"mediaType":"application/vnd.ollama.image.license",
"digest":"sha256:832dd9e00a68dd83b3c3fb9f5588dad7dcf337a0db50f7d9483f310cd292e92e",
"size":11343
}
]
}

manifest 文件是一个 JSON 格式的文件，包含以下关键信息：
● config：包含模型配置文件的 digest (SHA256 哈希值)
● layers：包含模型的各个组成部分（模型文件、模板文件、许可证等）的 digest 和大小

五、找到并查看 blob 文件

manifest 文件中的 digest 值指向实际的文件，这些文件存储在 blobs 目录中：

# 查看 blobs 目录内容
dir "C:\Users\<用户名>\.ollama\models\blobs"

# 查看特定的 blob 文件（使用 digest 值）
dir "C:\Users\<用户名>\.ollama\models\blobs\sha256-<digest值前面一部分>"

您需要找到以下几种 blob 文件：

模型配置文件（application/vnd.docker.container.image.v1+json）
主模型文件（application/vnd.ollama.image.model）
模板文件（application/vnd.ollama.image.template）- 如果有
许可证文件（application/vnd.ollama.image.license）- 如果有
参数文件（application/vnd.ollama.image.params）- 如果有

六、查看模型配置文件

模型配置文件包含了模型的基本信息：

type "C:\Users\<用户名>\.ollama\models\blobs\sha256-<配置文件digest值>"

{
    
    
"model_format":"gguf",
"model_family":"qwen2",
"model_families":[
"qwen2"
],
"model_type":"1.8B",
"file_type":"Q4_K_M",
"architecture":"amd64",
"os":"linux",
"rootfs":{
    
    
"type":"layers",
"diff_ids":[
]
}
}

这个文件通常很小，包含模型的格式、类型、架构等信息。

七、收集所需的文件

根据前面的步骤，现在应该能够确定需要导出的文件：

manifest 文件
配置文件
模型文件（通常最大的那个）
模板文件（如果有）
许可证文件（如果有）
参数文件（如果有）
记录下这些文件的完整路径。

八、创建 Modelfile

创建一个 Modelfile 来定义如何加载模型：

FROM /path/to/model/file
TEMPLATE {
    
    {
    
     .Prompt }}
PARAMETER num_ctx <上下文长度值>

/path/to/model/file 是模型文件的路径（SHA256 开头的那个最大的文件）。
对于更复杂的模型，您可能需要添加更多配置，例如自定义模板。可以参考原始模型的 --modelfile 输出。第一步的，我们可以直接复制

九、导出并传输文件

mkdir model-export

copy "C:\Users\<用户名>\.ollama\models\blobs\sha256-<模型文件digest值>" model-export\
copy "C:\Users\<用户名>\.ollama\models\blobs\sha256-<配置文件digest值>" model-export\
#复制其他必要的文件

也将 Modelfile 添加到这个目录：

copy Modelfile model-export\

十、在目标服务器上导入模型

mkdir -p /data/ollama/models/blobs
mkdir -p /data/ollama/models/manifests/<仓库名>/<组织或用户名>/<模型名>

将 blob 文件复制到 blobs 目录：

cp /path/to/transferred/sha256-* /data/ollama/models/blobs/

将 manifest 文件复制到正确的位置并命名为 latest：

cp /path/to/transferred/manifest /data/ollama/models/manifests/<仓库名>/<组织或用户名>/<模型名>/latest

使用 Modelfile 创建模型：

cd /path/to/transferred
ollama create <新模型名称> -f Modelfile

验证模型是否可用：

ollama list
ollama run <新模型名称> "测试提示"

补充技巧

分析模型大小：通常主模型文件是最大的文件，您可以通过大小来识别它：

dir "C:\Users\<用户名>\.ollama\models\blobs" | sort -Property Length -Descending

查看文件内容：对于小型文本文件，您可以查看内容：

type "C:\Users\<用户名>\.ollama\models\blobs\sha256-<digest值>"

查找特定类型的文件：如果您知道要找的是特定类型的文件，可以使用：

Get-ChildItem "C:\Users\<用户名>\.ollama\models\blobs" | Where-Object {
    
     $_.Length -gt 1000000 } | Select-Object Name, Length

权限设置：在目标服务器上，确保文件有正确的权限：

chown -R <ollama用户>:<ollama组> /data/ollama/models
chmod -R 755 /data/ollama/models

按照这个指南，您应该能够手动查找、导出和导入任何 Ollama 模型。如果有特定的模型结构差异，可能需要略微调整步骤，但基本原理是相同的。