脸部磨皮：一个高阶正则化 ( higher-order regularisation ) 模

还记得在 “背景知识” 这一篇中，我们介绍了如何用微分方程和变分的方法来处理图像和视觉问题。一幅 N维 M通道的图片可以用一个函数来建模，即 $f: Omega to mathbb{R}^m$， $Omega subset mathbb{R}^N$。 在早些年的图像处理问题里面，我们的图片都是黑白的，即二维单通道； 目前面向大众的图像处理和计算机视觉当中，我们的图片都是彩色的，即二维 RGB三通道。在 遥感探测，三维建模，医学成像等领域中采用的则是更为复杂的图像结构。 我们微分方程和变分法的好处在于，一个简单的模型几乎可以推广到所有的应用里面。

采用微分方程和变分法解决视觉问题，大致分为三步：（1）设计一个能量泛函；（2）把模型离散化；（3）采用某种数值算法求解。笔者认为，能量泛函的设计是最关键的一步，因为模型的升级直接给解的精确性带来指数级的增长；在好模型的基础上，先进的算法可以把解的精准度和运算的速度提到大概30%。

在背景知识这一篇中，我们举了 利用 Total Variation （TV）Regularisation 模型来给图片去噪声的例子,它的能量泛函为

$$E(u):= int_{Omega} (u-f)^2 dx + alpha cdot int_{Omega} |nabla u| dx text{ .}$$

在这个能量泛函中，我们假设 观测误差 为 i.i.d 的高斯分布， 同时我们希望我们得到的图片是一个分段等值的函数。通过最小化 $int_{Omega} |nabla u| dx$ 这一项来进行正则化，被称作 total variation regularization. 在最优解中，它保留了图像的边，同时希望边中间的区域是等值的，因为它的梯度被最小化。

我们知道，任何一个平滑的函数可以由多段多项式函数来近似，多项式阶数越高，则近似的精度越精确。然而通过TV， 我们只能得到一个分段等值函数，这对于图片来说是远远不够的。因此笔者在此介绍两个高阶模型，它们都是对解函数的二阶导数进行正则化， 因此得到的解是一个分段仿射函数 (piece-wise affine function) 。

（1）Hessian TV regularisation

Lysaker,Marius,Arvid Lundervold,and Xue-Cheng Tai. “Noise removal using fourth-order partial differential equation with applications to medical magnetic resonance images in space and time.” Image Processing,IEEE Transactions on 12.12 (2003): 1579-1590.

能量泛函为

$$E(u):= int_{Omega} (u-f)^2 dx + alpha cdot int_{Omega} |nabla^2 u| dx text{,}$$
其中

$$nabla^2 u = begin{pmatrix} u_{xx} & u_{xy} u_{yx} & u_{yy} end{pmatrix}$$

(2) Total Generalized Variation Regularisation (TGV)

Bredies,Kristian,Karl Kunisch,and Thomas Pock. “Total generalized variation.” SIAM Journal on Imaging Sciences 3.3 (2010): 492-526.

能量泛函为

$$E(u,{bf v}):= int_{Omega} (u-f)^2 dx + alpha_1 cdot int_{Omega} |nabla u - {bf v}| dx + alpha_2 cdot int_{Omega} |nabla {bf v}| dx text{,}$$

其中 ${bf v}: Omega to mathbb{R}^2$ 。

介绍完这么多理论，我们来进行一个简单的实验——给人像磨皮！ X ）

首先，我们有一张相片

下面一张是用 TV 处理后的结果：

下面一张是用 TGV 处理后的结果：

两幅图片的细节都被保存，但大家是不是隐约的感觉到第二幅图片比第一幅图片要光滑一些？？ 这是因为 TGV 可以给一个 分段仿射的解，但TV只能给分段等值的。我们再对比一下脸部的效果，其中左边是TGV， 右边是TV。

我们看到用TGV得到的脸部线条更柔和光滑，皮肤更水嫩，人一下子就年轻了至少7岁。更重要的是，黑眼圈被完全除掉了！！