探索Civitai：模型、LoRA与创意可能性

探索Civitai：模型、LoRA与创意可能性

介绍

如果有一个平台，能让你的创意愿景通过简单几次点击实现，那将是多么酷啊——一个你可以微调尖端AI模型来创造独一无二的惊艳图像的世界？欢迎来到Civitai，一个充满活力的平台，致力于赋能创作者，通过提供访问一个庞大而不断增长的Stable Diffusion模型库来实现这一目标。无论你是艺术家、设计师，还是AI爱好者，Civitai都为你提供了探索、尝试和与全球社区合作的工具。准备深入了解是什么让Civitai成为创意创新的首选中心吗？让我们探索一下！

概述

1. Civitai 是一个创意平台，用户可以轻松微调 AI 模型，以生成独特、惊艳的图像。
2. Civitai 借助提供共享和发现自定义 AI 模型的协作空间，赋能创作者。
3. 该平台提供多样化的AI生成模型，使用户能够轻松创作独特的数字内容。
4. Civitai 支持 LoRA 模型，允许高效地对大型 AI 模型进行微调，以适应特定的任务和风格。
5. Civitai 是一个创新的中心，为 AI 爱好者简化了生成引人注目的 AI 驱动媒体的过程。

目录

1. 什么是Civitai？
   • 基本术语
2. Civitai 模型
   • Flux
   • Photon_v1
   • Lora模型在Civitai中

Civitai是什么？

Civitai 是一个平台，在这里，微调 爱好者可以轻松分享他们的创作并与其他创作者联系。它是一个创新的平台，旨在增强 AI 生成媒体的创建和探索。它提供了一个环境，用户可以上传、分享和发现基于各种数据集训练的自定义模型。这些模型在 AI 媒体软件的支持下，作为生成原创内容的独特工具。它提供访问各种检查点训练模型的权限。

基本术语

1. 模型检查点：模型检查点是指在训练过程中在特定时刻保存机器学习模型的状态。一个检查点包括模型的权重、偏置和定义其处理数据方式的其他参数。您可以通过保存检查点来暂停和恢复训练，或使用这些保存的状态（检查点）进行推理。在像 Civitai 这样的平台注册上，用户可以下载这些检查点以生成内容或继续微调模型。
2. 基础模型：基础模型是经过预训练的机器学习模型，是进一步微调的起点。这些模型已在大型数据集上进行过训练，并能够执行特定任务，如图像生成。在微调基础模型时，会进行额外的训练，以使其适应更具体的任务或数据集，通常会导致性能的提升。
3. LoRA (低秩适应): LoRA是一种通过引入低秩矩阵的额外可训练参数来更有效地微调大模型的技术。LoRA在微调过程中仅调整一小部分参数，使得这一过程更快且所需资源更少。LoRA在使用大型预训练模型如Stable Diffusion时特别有用，因为它允许用户以更低的计算成本将模型适应新任务或风格。

还可以阅读：基于LoRA和QLoRA的大型语言模型的参数高效微调

Civitai 模型

Civitai 模型指的是一种 机器学习算法，旨在生成某种风格的艺术或媒体。为了创建一个媒体生成模型，首先需要收集代表所需风格或主题的数据集，并用于训练。该模型通过识别训练数据中的模式和特征，然后生成新的、原创的媒体。输出的结果并不是训练示例的精确复制，而是受到数据集启发的独特创作。模型可以训练生成从逼真的图像和抽象图案到各种音频编排、短篇小说甚至视频的任何内容，使得创建手动制作起来繁琐且耗时的内容成为可能。

让我们看一下Civitai上的几个模型：

1. Flux

一个在Civitai上非常受欢迎的模型，这个经过检查点训练的模型可以下载并在本地使用，或者可选地直接在平台上使用。让我们尝试使用这个稳定扩散模型生成一个图像。

我生成了一幅1024×1024的图像，提示词是“一个人坐在树上拿着气球。”如果你想花更少的积分，或者称它为Buzz，你可以将图像数量设置为1。注册后，你将获得100个Buzz。

注意：

“创建”选项在Civitai上允许用户使用AI模型生成图像，并可能有信用限制。然而，如果您下载模型并在本地或在支持它的服务上使用，您应该不会遇到Civitai的任何限制。

2. 光子_v1

让我们看一下Civitai上的另一个稳定扩散检查点模型。让我们下载模型并这次使用它。我们需要一个GPU，所以我将使用Google Colab进行演示。

我们将使用 Automatic 1111 的稳定扩散 webui：链接

请注意，Colab 对免费版本的 Automatic1111 支持有限，因此您可能会发现使用困难，因为在使用 5 分钟后笔记本会断开连接，您会收到类似“您可能正在执行不允许的代码”的警告。如果您的计算机上有好的 GPU，我建议您在本地进行。

让我们来看一下代码。

请确保更改运行时类型并选择GPU：

1. 步骤 1：克隆 Automatic1111 仓库。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

2. 步骤 2：从文本文件中安装要求。

!pip install -r /content/stable-diffusion-webui/requirements.txt

3. 步骤 3：下载模型并将模型上传到您的 Google Drive，然后挂载驱动器。

让我们从 Civitai 下载 Photon (v1) 模型: Civitai Photon

注意： 您可以点击笔记本左上角的挂载驱动器选项

4. 步骤-4: 现在将文件从驱动器移动到该目录:

“/content/stable-diffusion-webui/models/Stable-diffusion”

！mv /content/drive/MyDrive/photon_v1.safetensors /content/stable-diffusion-webui/models/Stable-diffusion/photon_v1.safetensors

5. 步骤-5：现在我们可以运行 launch.py，使用 –share 获取一个公众可访问的 web ui 链接。

    !python /content/stable-diffusion-webui/launch.py --share

在稳定扩散检查点中选择 photon_v1，并在 text2img 部分开始提示。如你所见，我提示了“一个拿着雨伞的男人”，并在右上角点击了生成。在生成之前，随意调整设置。

您可以通过右键单击图像下载它；这是我生成的512×512图像。

3. Civitai中的Lora模型

让我们看看如何使用 Civitai 的 Lora 模型：

我们需要下载一个 Lora 模型及其基础模型，否则我们将无法使用它。我将使用以下内容进行演示：Vixon 的动漫/漫画风格 Lora 模型。

这个Lora模型的基础模型是Pony模型；让我们从Civitai下载这两个模型。

Pony Diffusion V6 XL: 点击这里

您可以按照我们在上一部分中执行的步骤使用 Photon_v1 模型。让我们继续进行剩下的步骤：

1. 步骤 1: 下载基础模型和 Lora 模型，并将它们上传到您的 Google Drive，然后挂载该驱动器。
2. 步骤 2: 为 Lora 模型创建一个新目录。现在，将 Lora 模型移动到 Lora 文件夹中，将基础模型移动到稳定扩散文件夹中。

!mv /content/drive/MyDrive/ponyDiffusionV6XL_v6StartWithThisOne.safetensors /content/stable-diffusion-webui/models/Stable-diffusion/ponyDiffusionV6XL_v6StartWithThisOne.safetensors

!mkdir /content/stable-diffusion-webui/models/Lora

!mv /content/drive/MyDrive/DragonBallZXLP.safetensors /content/stable-diffusion-webui/models/Lora/DragonBallZXLP.safetensors

3. 步骤 3: 通过运行这行来启动 webui

!python /content/stable-diffusion-webui/launch.py --share

点击公共URL，你将看到这个用户界面

现在点击稳定扩散检查点下拉菜单并选择Pony，接下来点击Lora部分并选择Vixon的动漫/漫画风格，我们就可以开始提示了。

我输入了*“<lora:DragonBallZXLP:1> 悟空，绿色头发，战斗，高质量，七龙珠，水彩 \(中等\)，传统媒体，”*并点击生成（我使用了模型的触发词，这有助于获得更好的结果，您可以在Civitai的模型页面上找到触发词 – 点击这里)

这是我使用Vixon的动漫/漫画风格Lora模型生成的图像。

结论

Civitai 是一个为 AI 爱好者和创作者提供的平台，充当创新的中心，提供精炼和分发像 Stable Diffusion 这样的模型的机会。无论是创作数字艺术还是测试 LoRA 技术，Civitai 提供各种工具和资源来激发创造力。模型分享和发现的便利性促进了一个合作的社区，吸引了热衷于 AI 生成媒体的人士。通过利用 Civitai，创作者可以探索 AI 驱动内容的新可能性，简化生成独特而引人注目的媒体的过程。