如何使用自己的照片微调 Flux.1 模型？

介绍

大家好！今天，我将逐步介绍如何微调最受欢迎的文本到图像模型 Flux.1。本指南将带您了解整个过程，即使您是这个领域的新手也能轻松上手。

我还为这个主题制作了一个 YouTube 视频：

别担心中文问题。我已经上传了一份高质量的字幕。YouTube 的自动翻译应该足够好，能帮助到您。

什么是 Flux.1？

在开始之前，让我们简要回顾一下 Flux.1。它是由 BlackForest Labs 开发，并在今年夏天发布的一系列文本到图像模型。它有不同的版本，包括 dev、pro 和 schnell，可以在 BlackForest 的 Replicate 频道找到。

Flux.1 以生成极其逼真的图像、清晰的文本，甚至创建幽默的 meme 或谜题而闻名。

Replicate BlackForest Labs 页面

为什么要微调 Flux.1？

微调允许我们使用自己的数据集来定制模型。这意味着我们可以训练模型生成特定风格的图像或融入我们独特需求的特定概念。

微调过程

我们将使用 Replicate 上的 AI 工具包 Ostris 来微调 Flux.1 DEV 版本。

https://replicate.com/ostris

以下是该过程的逐步指南：

1. 准备您的数据集

• 收集 12–20 张代表您想要训练的风格或概念的图像。
• 将这些图像压缩成一个 zip 文件。
• 可选但推荐：为每张图像创建一个同名的文本文件（但扩展名为 .txt），包含对图像的简要描述。

2. 访问微调页面

导航到 Replicate 上的 Flux 工具套件。您会找到 Flux.1 模型的微调页面链接。

Ostris Flux 训练页面

3. 设置微调任务

在微调页面，您需要提供一些参数：

a) 目标模型：创建一个新模型，并给它一个易记的名称。

b) 输入图像：上传您准备好的 zip 文件。

c) 触发词：这非常重要。选择一个独特的词，以提示模型使用您的自定义风格或概念。例如，如果您正在训练超级英雄角色，可以使用 "HERO999" 作为触发词。

d) 可选参数：对于第一次尝试，您可以将大多数参数保留为默认值。

4. 开始训练

设置好参数后，点击“创建训练”以开始微调过程。

成本和时间考虑

• 微调在 NVIDIA H100 GPU 上运行。
• 定价基于执行时间，每秒 $0.001528。
• 一次典型的运行（10 张图像和默认参数）大约需要 20–30 分钟。
• 预计基本微调会话的费用在 $2-$3 左右。

使用您的微调模型

训练完成后，您可以开始使用您的自定义模型：

1. 导航到您的仪表板，查看已完成的训练任务。
2. 点击“运行训练模型”以开始生成图像。
3. 在您的提示中，使用您选择的触发词来激活您的自定义风格或概念。

Replicate 上的训练仪表板

示例和观察

在我的测试运行中，我用 10 张个人照片微调了模型，并使用 "VSWD" 作为触发词。当我用提示 "VSWD 站在唐纳德·特朗普旁边" 生成图像时，模型生成了一张融合了我和唐纳德·特朗普特征的图像，但并没有完全捕捉到“站在旁边”这一部分的提示。

这突显了一个有趣的探索领域：如何微调模型以更好地理解空间关系和多个主题提示。

微调 Flux.1 为创建自定义图像生成器打开了无限可能。虽然还有很多需要学习和探索的内容，但这个过程出乎意料地简单和实惠。我鼓励您亲自尝试一下！