第 5 章图像复原与重建 (Image Restoration and Reconstruction)

核心结论

图像退化 / 复原模型（§5.1）：g = H f + n；H 是退化函数；n 是噪声。
噪声模型（§5.2）：高斯 / 瑞利 / 厄兰 / 指数 / 均匀 / 椒盐噪声；空间 / 频率特性。
空间滤波复原（§5.3）：均值 / 顺序统计 / 自适应滤波。
频率域滤波复原（§5.4）：带阻 / 带通 / 陷波；最佳陷波滤波。
逆滤波（§5.5）：F̂ = G / H；对噪声敏感；伪逆滤波。
维纳滤波（§5.6）：最小均方误差；需要噪声功率谱。
约束最小二乘（§5.7）：平滑约束 + 噪声参数估计。
几何变换 + 插值（§5.8）：空间变换 + 最近邻 / 双线性 / 双三次插值。
超分辨率重建（§5.9）：多帧超分；学习超分。

本章主旨

本章是 DIP "复原"——把退化图像恢复为接近原图。理解后才能做去模糊 / 去噪 / 几何校正 / 超分辨率。

一、核心概念

本章围绕 9 个核心概念展开：模型 → 噪声模型 → 空间滤波 → 频率域滤波 → 逆滤波 → 维纳 → 约束 LS → 几何变换 → 超分。

概念定义 + 重要性实现提示

概念	定义 + 重要性	实现提示
退化模型	`g = H f + n`；H + n 描述退化。	§5.1；所有复原算法基础。
噪声模型	高斯 / 椒盐 / 泊松 / 指数；空间特性。	§5.2；选择去噪算法。
空间滤波复原	均值 / 顺序统计 / 自适应。	§5.3；基本去噪。
频率域复原	带阻 / 陷波。	§5.4；周期噪声去除。
逆滤波	`F̂ = G / H`；对噪声敏感。	§5.5；最直接的复原。
维纳滤波	最小均方误差；考虑噪声。	§5.6；最优线性复原。
约束最小二乘	平滑约束；自动估计噪声。	§5.7；通用复原。
几何变换 + 插值	空间变换 + 插值方法。	§5.8；几何校正。
超分辨率	多帧 / 学习超分；细节恢复。	§5.9；高分辨率重建。

退化模型

g = H f + n；H + n 描述退化。

§5.1；所有复原算法基础。

噪声模型

高斯 / 椒盐 / 泊松 / 指数；空间特性。

§5.2；选择去噪算法。

空间滤波复原

均值 / 顺序统计 / 自适应。

§5.3；基本去噪。

频率域复原

带阻 / 陷波。

§5.4；周期噪声去除。

逆滤波

F̂ = G / H；对噪声敏感。

§5.5；最直接的复原。

维纳滤波

最小均方误差；考虑噪声。

§5.6；最优线性复原。

约束最小二乘

平滑约束；自动估计噪声。

§5.7；通用复原。

几何变换 + 插值

空间变换 + 插值方法。

§5.8；几何校正。

超分辨率

多帧 / 学习超分；细节恢复。

§5.9；高分辨率重建。

二、详细笔记

2.1 图像退化 / 复原模型 (Model)

What：g(x,y) = H[f(x,y)] + n(x,y)；H 退化，n 噪声。

Why：所有复原算法的数学基础。

How：

线性退化：g = h ⊛ f + n。
频域：G(u,v) = H(u,v) F(u,v) + N(u,v)。
复原 = 由 g 估计 f。

When：所有复原算法。

Example：运动模糊 = H（运动点扩散函数）；大气湍流 = 高斯模糊。

2.2 噪声模型 (Noise Models)

What：高斯 / 瑞利 / 厄兰 / 指数 / 均匀 / 椒盐。

Why：选择去噪算法；理解噪声来源。

How：

高斯：电子噪声 / 热噪声。
椒盐：脉冲噪声（坏像素 / 传输错误）。
泊松：光子散粒噪声。
空间特性：白噪声 / 周期噪声 / 1/f 噪声。

When：去噪算法选择；噪声估计。

Example：np.random.normal 高斯；np.random.poisson 泊松；低光图像泊松主导。

2.3 空间滤波复原 (Spatial Filtering)

What：均值 / 顺序统计 / 自适应滤波。

Why：基本去噪；理解后才能选对算法。

How：

均值：盒式 / 加权 / 几何 / 谐波均值。
顺序统计：中值 / 最大 / 最小 / 中点 / alpha-截尾均值。
自适应：局部统计调整滤波参数。

When：基本去噪；预处理。

Example：cv2.medianBlur；cv2.bilateralFilter；cv2.fastNlMeansDenoising。

2.4 频率域滤波复原 (Frequency Domain)

What：带阻 / 带通 / 陷波。

Why：周期噪声去除。

How：

带阻：阻止特定频带。
带通：仅保留特定频带。
陷波：在特定频率处为零。
最佳陷波：分析噪声频谱。

When：周期噪声（扫描纹理 / 屏幕摩尔纹）。

Example：周期性条纹用窄带陷波滤波去除。

2.5 逆滤波 (Inverse Filtering)

What：F̂(u,v) = G(u,v) / H(u,v)。

Why：最直接的复原。

How：直接除以退化函数；对噪声极敏感。

When：退化函数已知且噪声小。

Example：运动模糊图像逆滤波恢复（但噪声被放大）。

2.6 维纳滤波 (Wiener Filtering)

What：最小均方误差复原；考虑噪声功率谱。

Why：最优线性复原；抗噪声优于逆滤波。

How：

\[\hat{F}(u,v) = \left[ \frac{H^*(u,v)}{|H(u,v)|^2 + S_\eta(u,v)/S_f(u,v)} \right] G(u,v) \end{bmatrix}\]

S_η 噪声功率谱，S_f 信号功率谱。
S_η/S_f = 0 退化为逆滤波。

When：噪声 / 信号功率谱已知。

Example：cv2.dft + 维纳滤波核。

2.7 约束最小二乘 (Constrained Least Squares)

What：平滑约束 + 噪声参数自动估计。

Why：通用复原；无需信号功率谱。

How：

\[\hat{F} = \arg\min \|Q \hat{F}\|^2 \quad \text{s.t.} \quad \|G - H\hat{F}\|^2 = \|N\|^2 \end{bmatrix>\]

Q 是平滑算子（如拉普拉斯）。
噪声参数 γ 自动估计。

When：通用复原；无需信号统计。

Example：scipy.signal.wiener；OpenCV 无内置。

2.8 几何变换 + 插值 (Geometric Transformations)

What：空间变换 + 插值。

Why：几何校正（旋转 / 缩放 / 透视）。

How：

仿射 / 透视变换矩阵。
反向映射 + 插值（最近邻 / 双线性 / 双三次）。

When：图像对齐 / 校正 / 拼接。

Example：cv2.warpAffine / cv2.warpPerspective + cv2.INTER_LINEAR。

2.9 超分辨率 (Super-Resolution)

What：多帧 / 学习超分。

Why：从低分辨率恢复高分辨率细节。

How：

多帧：融合多张低分辨率（亚像素位移）。
学习：CNN（ESRGAN / Real-ESRGAN）/ 扩散模型。

When：老照片修复 / 视频超分 / 监控增强。

Example*：realesrgan；Stable Diffusion SR。

三、关键图表

视觉图表

Figure 1. 图 5-1：图像退化 / 复原流程

Figure 2. 图 5-2：常见噪声模型

非可视化条目

非可视化条目（表 / 算法）

编号

内容摘要

表 5.1

噪声模型对比（高斯 / 椒盐 / 泊松）。

表 5.2

复原算法对比（逆滤波 / 维纳 / 约束 LS）。

式 5-1 至 5-40

退化模型 / 维纳 / 约束 LS 公式。

核心公式对照表

概念

公式

退化模型

\(g = H f + n\)

逆滤波

\(\hat{F} = G / H\)

维纳滤波

latexmath:[\hat{F} = \frac{H^*}{

^2 + S_\eta/S_f} G]

约束 LS

\(\hat{F} = (H^T H + \gamma Q^T Q)^{-1} H^T G\)

四、思维导图

mindmap
  root((第 5 章 图像复原))
    退化模型
      g等于Hf加n
      退化加噪声
    噪声模型
      高斯椒盐
      泊松
    空间滤波
      均值
      顺序统计
      自适应
    频率域
      带阻陷波
    逆滤波
      F等于G除H
      对噪声敏感
    维纳
      MMSE
      噪声功率谱
    约束LS
      平滑约束
      噪声估计
    几何变换
      仿射透视
      插值
    超分辨率
      多帧
      学习

五、重点与易错点

退化模型是复原基础：g = H f + n；理解后才能设计复原算法。
噪声模型决定去噪选择：高斯用均值 / 高斯；椒盐用中值。
维纳滤波优于逆滤波：考虑噪声；抗噪。
约束 LS 自动估计噪声：无需信号功率谱。
几何校正用反向映射：正向有空洞。
超分辨率需多帧或学习：单帧 SR 难突破物理极限。
跨章衔接：第 3 章滤波是复原基础；第 4 章频率域是复原的另一种实现；第 8 章压缩有损；第 10 章分割需要清晰图像。

第 5 章 图像复原与重建 (Image Restoration and Reconstruction)

核心结论

一、核心概念

二、详细笔记

2.1 图像退化 / 复原模型 (Model)

2.2 噪声模型 (Noise Models)

2.3 空间滤波复原 (Spatial Filtering)

2.4 频率域滤波复原 (Frequency Domain)

2.5 逆滤波 (Inverse Filtering)

2.6 维纳滤波 (Wiener Filtering)

2.7 约束最小二乘 (Constrained Least Squares)

2.8 几何变换 + 插值 (Geometric Transformations)

2.9 超分辨率 (Super-Resolution)

三、关键图表

视觉图表

非可视化条目

核心公式对照表

四、思维导图

五、重点与易错点

第 5 章图像复原与重建 (Image Restoration and Reconstruction)