AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

图像修补、扩展与编辑 ​

文生图造新东西。Inpainting 修旧东西。生产里 70% 能计费的图像活儿是编辑——换背景、去 logo、扩画布、重画一只手。Inpainting 才是扩散赚钱的地方。

类型： Build 语言： Python 前置要求： 阶段 8 · 07（潜空间扩散）、阶段 8 · 08（ControlNet 与 LoRA） 预计时间： ~75 分钟

问题背景 ​

客户发来一张完美的产品照片，背景里有块碍眼的招牌。你想抹掉招牌，让别的地方逐像素一模一样。你不能从头跑文生图——结果会是不同的颜色、不同的光照、不同的产品角度。你想只重新生成被遮罩的区域，而且想让重新生成的部分尊重周围的上下文。

这就是 inpainting。变体有：

  • Inpainting（修补）。 在遮罩内重新生成，遮罩外像素保留。
  • Outpainting（扩展）。 在遮罩外（或画布之外）重新生成，遮罩内保留。
  • 图像编辑。 重新生成整张图，但对原图保持语义或结构上的忠实（SDEdit、InstructPix2Pix）。

2026 年每条扩散流水线都带一个 inpainting 模式。Flux.1-Fill、Stable Diffusion Inpaint、SDXL-Inpaint、DALL-E 3 Edit。它们都基于同一个原理工作。

核心概念 ​

Inpainting：遮罩感知的去噪 + 保上下文的重新注入

朴素做法（以及它为什么是错的） ​

带一个遮罩跑标准文生图。每个采样步把带噪潜变量里非遮罩区域换成前向扩散后的干净图像。它能用……但很糟。边界伪影渗出来，因为模型对遮罩区域里有什么一无所知。

像样的 inpainting 模型 ​

训一个改造过的 U-Net，输入是 9 个通道而不是 4 个：

input = concat([ noisy_latent (4ch), encoded_image (4ch), mask (1ch) ], dim=channel)

多出来的通道是 VAE 编码源图像的一份副本外加一个单通道遮罩。训练时你随机遮住图像的某些区域，训模型只给遮罩区域去噪，而非遮罩区域作为一个干净的条件信号给进去。推理时模型能「看见」遮罩区域周围有什么，产出连贯的补全。

SD-Inpaint、SDXL-Inpaint、Flux-Fill 都用这个 9 通道（或类似）输入。Diffusers 的 StableDiffusionInpaintPipeline、FluxFillPipeline。

SDEdit（Meng et al., 2022）—— 免费编辑 ​

给源图像加噪声加到某个中间的 t，再用一个新 prompt 把反向链从 t 跑到 0。不用重训。起点 t 的选择在忠实度和创作自由之间权衡：

  • t/T = 0.3 → 几乎与源图一致，小幅风格变化
  • t/T = 0.6 → 中等编辑，保住粗结构
  • t/T = 0.9 → 几乎从噪声生成，对源图保留极少

InstructPix2Pix（Brooks et al., 2023） ​

在 (输入图像, 指令, 输出图像) 三元组上微调一个扩散模型。推理时同时以输入图像和一条文本指令为条件（「变成日落」「加一条龙」）。两个 CFG 强度：图像强度和文本强度。

RePaint（Lugmayr et al., 2022） ​

保留一个标准的无条件扩散模型。每个反向步重新采样——偶尔跳回更噪的状态再重新生成。避免边界伪影。在你没有训好的 inpainting 模型时用。

figure
inpaint-mask-reinject

动手构建 ​

code/main.py 在 5 维数据上实现一个玩具一维 inpainting 方案。我们在 5 维混合数据上训一个 DDPM，每个样本是来自两个簇之一的 5 个浮点数。推理时我们「遮住」5 维里的 2 维，每步注入未遮住那 3 维的前向加噪版本，只重新生成被遮住的维度。

第 1 步：5 维 DDPM 数据 ​

python
def sample_data(rng):
    cluster = rng.choice([0, 1])
    center = [-1.0] * 5 if cluster == 0 else [1.0] * 5
    return [c + rng.gauss(0, 0.2) for c in center], cluster

第 2 步：在全部 5 维上训去噪器 ​

标准 DDPM。网络对 5 维带噪输入输出 5 维噪声预测。

第 3 步：推理时，遮罩感知的反向 ​

python
def inpaint_step(x_t, mask, clean_image, alpha_bars, t, rng):
    # replace unmasked dims with a freshly noised version of the clean source
    a_bar = alpha_bars[t]
    for i in range(len(x_t)):
        if not mask[i]:
            x_t[i] = math.sqrt(a_bar) * clean_image[i] + math.sqrt(1 - a_bar) * rng.gauss(0, 1)
    # ...then run the normal reverse step on x_t

这是朴素做法，在玩具一维数据上能用。真实图像 inpainting 用 9 通道输入，因为纹理连贯性更要紧。

第 4 步：outpainting ​

Outpainting 就是把遮罩反过来的 inpainting：遮住新的（之前不存在的）画布，用原图填满其余部分。训练目标完全相同。

坑 ​

  • 接缝。 朴素做法留下可见的边界，因为梯度信息不会跨遮罩流动。解法：把遮罩膨胀 8-16 像素，或者用一个像样的 inpainting 模型。
  • 遮罩泄露。 如果条件图像的非遮罩区域质量低或带噪，它会污染遮罩内的生成。稍微去噪或模糊一下。
  • CFG 与遮罩大小相互作用。 小遮罩上用高 CFG = 饱和的块。小编辑就降低 CFG。
  • SDEdit 忠实度悬崖。 从 t/T = 0.5 走到 t/T = 0.6 可能丢掉主体的身份。扫一遍并存检查点。
  • prompt 不匹配。 prompt 应描述整张图，而不只是新内容。「一只猫坐在椅子上」而不是「一只猫」。

实际使用 ​

任务流水线
去掉物体、小遮罩SD-Inpaint 或 Flux-Fill，标准 prompt
换天空SD-Inpaint + 「日落时的蓝天」
扩画布SDXL outpaint 模式（8px 羽化）或带 outpaint 遮罩的 Flux-Fill
重画手 / 脸SD-Inpaint，prompt 重新描述主体 + ControlNet-Openpose
改变某一区域的风格在遮罩区域上 t/T=0.5 的 SDEdit
「变成日落」InstructPix2Pix 或 Flux-Kontext
替换背景SAM 遮罩 → SD-Inpaint
超高保真最难的情况用 Flux-Fill 或 GPT-Image（托管）

SAM（Meta 的 Segment Anything，2023）+ 扩散 inpaint 是 2026 年的抠图流水线。SAM 2（2024）能用在视频上。

拿去用 ​

存为 outputs/skill-editing-pipeline.md。技能接受一张原图 + 编辑描述 + 可选遮罩（或 SAM prompt），输出：遮罩生成做法、基模型、CFG 强度（图像 + 文本）、SDEdit-t 或 inpainting 模式，以及 QA 清单。

练习 ​

  1. 简单。 在 code/main.py 里把被遮维度的比例从 0.2 变到 0.8。比例到多少时 inpaint 质量（遮罩维度上的残差）等于无条件生成？
  2. 中等。 实现 RePaint：每第 10 个反向步往回跳 5 步（加噪）再重新去噪。测量它是否减少了遮罩边缘的边界残差。
  3. 困难。 用 Hugging Face diffusers 在 20 个人脸重画任务上比较：SD 1.5 Inpaint + ControlNet-Openpose vs Flux.1-Fill。分别给姿态遵循和身份保留打分。

关键术语 ​

术语大家嘴上怎么说它实际指什么
Inpainting「填洞」在遮罩内重新生成；遮罩外像素保留。
Outpainting「扩画布」在画布外重新生成；画布内保留。
9 通道 U-Net「像样的 inpainting 模型」以 `noisy
SDEdit「带噪声级别的 img2img」加噪到时间 t，用新 prompt 去噪。
InstructPix2Pix「纯文本编辑」在（图像，指令，输出）三元组上微调的扩散。
RePaint「不用重训」反向过程中周期性重新加噪以减少接缝。
SAM「Segment Anything」按点击或框生成遮罩；与 inpaint 配合。
Flux-Kontext「带上下文编辑」接受参考图像 + 指令做编辑的 Flux 变体。

生产笔记：编辑流水线对延迟敏感 ​

编辑图像的用户期待 5 秒以内的往返。L4 上 1024² 的 30 步 SDXL-Inpaint 是 3-4 秒，再加 SAM 遮罩生成（约 200 ms）和 VAE 编码/解码（合计约 500 ms）。用生产的框架讲，这是 TTFT 受限而非吞吐受限——批 1、低并发、把每个阶段都压到最小：

  • SAM-H 是慢的那个。 SAM-H 在 1024² 约 200 ms；SAM-ViT-B 约 40 ms，质量略降。SAM 2（视频）增加时间维开销；别拿它做单图编辑。
  • 能跳过编码就跳过。 pipe.image_processor.preprocess(img) 编码成潜变量。如果你手上有上一次生成的潜变量（迭代编辑 UI 里很典型），直接通过 latents=... 传进去，省一次 VAE 编码。
  • 遮罩膨胀对吞吐也重要。 小遮罩意味着 U-Net 前向大部分是浪费的（非遮罩像素反正会被钳住）。diffusers 的 StableDiffusionInpaintPipeline 无论如何都跑完整 U-Net；只有 9 通道的像样 inpaint 变体才利用遮罩省算力。
  • Flux-Kontext 是 2025 年的答案。 对 (源图像, 指令) 单次前向——没有单独的遮罩，没有 SDEdit 噪声扫描。在 H100 上约 1.5 秒出一次编辑。架构上的教训：把这些阶段合并掉。

延伸阅读 ​