🔥【揭秘】Flux.1 AI工具如何碾压Midjourney和Ideogram，颠覆创意工作流！

黑森林实验室（Black Forest Lab）作为革命性Flux模型的幕后推手，最近推出了一套强大的新工具，承诺将重新定义我们在ComfyUI中进行图像生成和编辑的方式。这些前沿模型——Fill（填充）、Canny（边缘检测）、Depth（深度）和Redux（风格转换）——为你的工作流程带来了无缝修复、扩展、精确边缘检测、深度映射和创意风格转换等先进功能。

但真正让Flux工具脱颖而出的是它们的性能。在直接对比测试中，Flux模型始终优于Midjourney ReTexture和Ideogram V2等专有解决方案。例如，Flux.1 Fill [pro]模型目前是修复领域的顶尖模型，提供了无与伦比的质量和效率。与此同时，Flux.1 Depth [pro]模型在深度感知任务中的输出多样性和可靠性方面超越了Midjourney ReTexture。

在本文中，我们将详细解析这些模型的所有关键信息，探索它们的独特功能，并指导你通过高效的工作流程快速上手。

功能与工具概览

新的Flux模型套件——Fill、Canny、Depth和Redux——提供了顶级的性能和多功能性。让我们逐一探索每个模型的功能，以及它们如何超越竞争对手。

1. Fill模型：修复与扩展的强大工具

图片来源：黑森林实验室

Fill模型为修复和扩展设定了新标准，提供了卓越的细节和无缝的过渡效果。

图片来源：黑森林实验室

主要功能：

• 将修复和扩展任务整合到一个模型中。
• 提供编辑区域与原始区域之间的完美融合，使修改难以察觉。
• 即使在复杂编辑或图像扩展时，也能保持高效和可靠。

相对于竞争对手的优势：

• 在编辑的准确性和一致性方面优于Ideogram V2等专有工具。
• 比传统解决方案更高效，适合在不牺牲速度的情况下获得高质量结果。

图片来源：黑森林实验室

2. 结构条件化：Canny与Depth

结构条件化是图像转换工作流程中的一项强大功能，通过Canny边缘检测或深度映射来保持原始图像的结构完整性。这一过程允许用户在保留构图和关键细节（如轮廓、形状和空间深度）的同时，进行精确的文本引导编辑。

主要应用场景：

• 非常适合重新纹理化或风格转换任务，在这些任务中保持原始结构至关重要。
• 支持无缝转换，例如在保持物体形态不变的情况下更改纹理、材质或细节。

Flux中结构条件化的优势：

• Canny边缘图专注于边缘精度，保持锐利和准确的轮廓，以实现高度控制的编辑。
• 深度映射确保光照、阴影和空间关系保持真实，增强转换的立体感。

图片来源：黑森林实验室

Flux如何超越竞争对手：

Canny边缘检测：

• Flux.1 Canny [pro]模型提供了最精确和高质量的边缘检测，非常适合需要精确结构条件化的工作流程。
• Dev版本则提供了一个可靠且高效的替代方案，保持了出色的输出一致性。

深度映射：

• Flux.1 Depth [pro]模型在输出多样性方面表现出色，使其在重新纹理化或生成新构图等创意任务中非常灵活。
• Dev版本则优先考虑一致性，是深度感知任务中需要精确性的可靠选择。
• Flux.1 Depth在保留光照和空间细节方面超越了Midjourney ReTexture等专有工具，提供了更细腻的结果。

图片来源：黑森林实验室

3. Redux模型：风格转换的革新

Redux模型为Flux带来了先进的风格转换功能，类似于SDXL中的IP-Adapter，但有了显著的改进。

主要功能：

• 在保留参考图像结构完整性的同时应用艺术风格。
• 兼容微调模型，支持更多创意定制。

相对于竞争对手的优势：

• 结合了效率和质量，允许在不影响性能的情况下进行创意灵活操作。
• 与其他Flux模型无缝协作，增强了其在多样化工作流程中的可用性。

图片来源：黑森林实验室

工作流程设置

为了充分利用Flux.1 Dev模型，我们开发了一个集成工作流程，以简化它们在ComfyUI中的使用。该工作流程将六个模型——Flux.1-Canny-Dev、Flux.1-Canny-Dev-LoRA、Flux.1-Depth-Dev、Flux.1-Depth-Dev-LoRA、FLUX.1-Fill-Dev和FLUX.1-Redux-Dev——整合为一个连贯的设置，使你能够高效地执行各种任务。

为什么只使用Dev版本？

Pro版本 这些模型仅通过黑森林实验室的API提供，提供了更高的多样性和增强的精度等额外功能。

Dev版本 则针对ComfyUI的本地工作流程进行了优化，设计为轻量级且显存高效，同时仍能提供出色的结果。

工作流程结构

工作流程采用模块化结构，使用户可以根据需要混合和匹配模型组。以下是工作流程的布局分解：

1. 基本设置与图像预处理
2. 结构条件化节点组

• Canny组
• Depth组

3. Fill模型节点组

• 修复组
• 扩展组

4. Redux模型节点组

模型安装

• flux1-canny-dev: https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev/tree/main
• flux1-canny-dev-lora: https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev-lora/tree/main
• flux1-depth-dev: https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev/tree/main
• flux1-depth-dev-lora: https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev-lora/tree/main
• flux1-fill-dev: https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev/tree/main
• flux1-redux-dev: https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev/tree/main
• 其他Flux基础微调模型，请参考本文：

• 💡独家内容（独家安装指南、完整工作流程截图和上传图片）：https://www.patreon.com/posts/new-flux-7-all-116546199
• 视频教程：

节点组1：基本设置

该节点组是整个工作流程的基础。它确保在将输入传递给其他模型组之前，所有必要的配置都已就位。该组标准化了图像预处理，并为后续阶段准备了关键数据，如边缘图和深度图。让我们逐步分解。

1. 基本设置组的核心组件

该组设计用于处理：

• 全局设置，如Clip和VAE模型。
• 图像预处理，以保持模型组之间的一致性。
• 通过边缘检测（Canny）和深度映射创建初始结构数据。

2. Clip和VAE设置

该组的核心是“Anything Everywhere 3”节点，它负责管理Clip和VAE模型的分配。这些模型对于在所有节点组中生成一致且高质量的输出至关重要：

Clip模型：

• 负责理解和处理文本提示。
• 可以使用两种版本的t5xxl Clip模型：

fp8版本：优化了显存使用和磁盘空间。

fp16版本：提供更高的精度，但占用稍多的显存。

VAE模型：

• 处理图像数据的编码和解码，确保所有模型在流程中接收兼容的数据格式。

3. 图像预处理

适当的图像预处理对于在整个工作流程中保持一致性至关重要。此步骤包括：

• 图像调整节点
• 确保输入图像缩放适当，以避免过多的GPU负载。
• 帮助标准化所有模型组的图像尺寸。

4. Canny边缘处理

Canny边缘处理生成精确的边缘图，这些边缘图将在工作流程的后续阶段由Flux.1-Canny-Dev模型使用：

步骤：

1. 将预处理后的图像输入到Canny Edge节点。
2. 调整最小和最大阈值等参数，以控制边缘的灵敏度。
3. 将生成的边缘图输出到结构条件化工作流程中的相应节点。

目的：

• 创建图像结构的清晰轮廓，在转换过程中保持形状和轮廓。
• 特别适用于重新纹理化等任务，在这些任务中保持原始形态至关重要。

5. 深度图处理

深度图处理子组生成深度数据，这对于使用Flux.1-Depth-Dev模型进行空间感知的图像转换至关重要：

步骤：

1. 输入预处理后的图像。
2. 将深度图传递给Depth模型的节点组以进行进一步处理。

目的：

• 提供图像的3D视角，捕捉光照、阴影和空间关系。
• 支持逼真的转换，例如材质更改或深度感知的重新纹理化。

节点组2：Canny

Canny节点组是工作流程中的第一个结构条件化组件。它使用Flux.1-Canny-Dev模型生成边缘图，并对图像应用精确的结构约束，确保原始构图的核心轮廓和形状得以保留。这对于重新纹理化等任务特别有用，在这些任务中保持原始图像的形式至关重要。

Canny节点组的结构如下：

1. 加载扩散模型节点：

• 该节点将Flux.1-Canny-Dev模型加载到工作流程中。
• 模型必须存储在models文件夹下的diffusion_models文件夹中。

2. 边缘图输入：

• 在基本设置组中生成的边缘图作为输入传递给该组。

InstructPixToPixConditioning节点：

• 该节点将边缘图与文本提示结合，条件化图像转换。

关键参数：

• 调整条件化权重，以平衡边缘图与提示的影响。
• 微调此值，以实现结构遵循与创意灵活性之间的理想平衡。

FluxGuidance节点：

• 目的：优化提示对图像生成过程的影响。该节点调整“guidance”参数，该参数决定了文本提示相对于结构数据（边缘图）的权重。
• 推荐值：guidance为30.0通常是一个理想值，提供了结构与提示驱动创意之间的良好平衡。

节点组3：Canny LoRA

Canny LoRA节点组是标准Canny节点组的一个变体，使用Flux.1-Canny-Dev-LoRA模型。虽然它引入了基于LoRA（低秩适应）的边缘条件化微调，但其输出通常不如标准Canny节点组一致，质量也略低。尽管如此，LoRA组提供了独特的灵活性，仍然是某些特殊用例的有价值工具。

标准Canny与LoRA节点组的主要区别

| 特性 | 标准Canny节点组 | Canny LoRA节点组 | | --- | --- | --- | | 使用的模型 | Flux.1-Canny-Dev | Flux.1-Canny-Dev-LoRA | | 条件化方法 | 直接基于边缘的条件化 | LoRA增强的边缘条件化 | | 输出质量 | 高结构保真度 | 略低的结构保真度 | | 用例 | 需要精确细节的任务 | 具有风格灵活性的特殊任务 |

节点组4：Depth

Depth节点组利用Flux.1-Depth-Dev模型生成深度感知的图像转换。通过深度映射引入空间真实感，该组能够保留和操作光照、阴影和空间关系，使其非常适合需要逼真效果或深度引导编辑的任务。

Depth节点组的结构与Canny节点组类似，但使用深度数据而非边缘图：

加载扩散模型节点：

• 将Flux.1-Depth-Dev模型加载到工作流程中。
• 模型必须放置在models文件夹下的diffusion_models文件夹中。

深度图输入：

• 在基本设置组的深度估计步骤中创建的深度图作为输入传递给该组。
• 深度图表示图像中物体之间的距离或空间关系，确保转换的真实性。

节点组5：Depth LoRA

Depth LoRA节点组引入了基于LoRA的深度感知条件化方法，利用Flux.1-Depth-Dev-LoRA模型。与Depth节点组类似，该组使用深度图来引导图像转换，同时确保空间真实感。然而，LoRA变体专注于效率和适应性，为深度感知任务提供了另一种方法。

该组特别适用于需要轻量级处理和微调调整的实验性工作流程。尽管如此，它也有一些权衡，因为输出质量和一致性可能并不总是与标准Depth节点组相匹配。

标准Depth与LoRA节点组的主要区别

| 特性 | 标准Depth节点组 | Depth LoRA节点组 | | --- | --- | --- | | 使用的模型 | Flux.1-Depth-Dev | Flux.1-Depth-Dev-LoRA | | 条件化方法 | 直接基于深度的条件化 | LoRA增强的深度条件化 | | 输出质量 | 高一致性和真实感 | 质量略低，偶尔不一致 | | 灵活性 | 适合严格的空间遵循 | 更适合创意调整 |

节点组6：修复

修复节点组使用FLUX.1-Fill-Dev模型对图像的特定区域进行精确编辑，由掩码引导。与之前的节点组不同，该组围绕InpaintModelConditioning和Differential Diffusion节点构建，这些节点专门用于优化修复过程。这些节点通过准备和精炼条件化数据，以及增强编辑区域与周围环境的融合，确保生成高质量的结果。

节点设置与工作流程

以下是修复节点组的配置方式：

掩码输入：

• 输入包括原始图像和定义要编辑区域的掩码。
• 掩码区域是发生更改的地方，未掩码区域则保持不变。

加载扩散模型节点：

• 加载FLUX.1-Fill-Dev模型，该模型专门用于修复任务。
• 确保模型文件位于models文件夹下的diffusion_models文件夹中。

InpaintModelConditioning节点：

• 该节点通过使用变分自编码器（VAE）将输入图像编码为潜在表示，准备修复的条件化数据。

关键功能：

• 编码未掩码部分的输入图像以保留上下文。
• 引导模型填充掩码区域，同时确保与周围图像的正确对齐。

为什么重要：

• 编码的条件化数据确保编辑与图像的其余部分自然对齐，从而实现更平滑的过渡和更一致的结果。

Differential Diffusion节点：

• 位于加载扩散模型节点和K采样器之间，该节点增强了修复的去噪过程。

关键功能：

• 应用差分去噪掩码，以优化编辑区域与未编辑区域的融合。
• 实现软修复，微调掩码区域相邻区域，确保无缝集成。
• 注意掩码与未掩码区域之间的边界，减少伪影和可见边缘。

为什么重要：

• 防止掩码边缘的硬过渡或不匹配，使编辑看起来更自然。

节点组7：扩展

扩展节点组扩展图像的边界，同时保持其风格、上下文和整体构图。使用FLUX.1-Fill-Dev模型以及InpaintModelConditioning和Differential Diffusion节点，该组确保新生成的区域与原始内容无缝融合。扩展特别适用于创建扩展场景、为主题生成额外上下文或通过图像扩展增强创意叙事。

节点设置与工作流程

以下是扩展节点组的配置方式：

图像填充用于扩展：

• 在将图像传递给该组之前，使用Pad Image for Outpainting节点定义要扩展的区域。

功能：

• 该节点通过添加空白空间来增加画布大小，作为扩展的目标。
• 填充的大小和位置决定了图像的扩展方式和范围。