2023-08-23 11:06:02 来源:商业新知网
DiffBFR: Bootstrapping Diffusion Model for Blind Face Restoration
已被ACM MM 2023接收。因为在图像修复过程中,人脸图像的数据集通常分散在高维空间中,并且分布的特征维度呈现长尾分布形式。与图像分类任务的长尾分布不同,图像修复里的长尾区域特征指的是对身份影响较小,而对视觉效果影响很大的属性,比如痣、皱纹和色调等等。如图1所示,通过简单的实验发现,过去基于GAN的方法不能很好地同时处理位于长尾分布头部和尾部的样本,导致了修复图像上明显的过平滑和细节消失。而基于扩散概率模型(Diffusion Probistic Models, DPM)的方法能够较好地拟合长尾分布,在拟合真实数据分布的同时保留尾部特征。
【资料图】
美图影像研究院(MT Lab)与中国科学院大学在ACM MM 2023上共同提出一种基于DPM的盲人脸图像修复方法DiffBFR,实现盲人脸图像恢复,将低质量(low-quality, LQ)的人脸图像修复成高质量(high-quality, HQ)的清晰图像。
论文链接:https://arxiv.org/abs/2305.04517研究发现,扩散模型在避免训练模式崩溃和拟合生成长尾分布方面优于GAN方法,因此DiffBFR利用扩散概率模型来增强人脸先验信息的嵌入,基于它在任意分布范围内产生HQ图像的强大能力,选择DPM作为解决方案的基本框架。
针对论文中所发现的人脸数据集上的特征长尾分布,以及过去基于GAN方法的过平滑现象,该研究探索合理的设计来更好地拟合近似长尾分布,进而克服修复过程中的过平滑问题。通过相同参数大小的GAN和DPM在MNIST数据集上的简单实验(如图1),该论文认为DPM方法能够合理地拟合长尾分布,而GAN会过度关注头部忽略尾部特征,导致尾部特征不再生成。因此,选择DPM作为BFR的一种解决方案。
通过引入两个中间变量,DiffBFR中提出了两个具体的修复模块,采用两阶段设计,首先从LQ图像中恢复身份信息,再根据真实人脸的分布增强纹理细节。该设计由两个关键部分组成:
(1)身份恢复模块(Identity Restoration Module, IRM):
该模块用于保留结果中的人脸细节。同时,提出了一种从LQ图像中加入部分噪声的截断采样方法,取代了在反向过程中以LQ图像为条件,从纯高斯随机分布去噪的方法。论文从理论上证明了这种变化缩小了DPM的理论证据下界(ELBO),从而恢复了更多的原始细节。在理论证明的基础上,引入两个不同输入大小的级联条件扩散模型来增强这种采样效果,降低直接生成高分辨率图像的训练难度。同时进一步证明,条件输入的质量越高,越接近真实数据分布,恢复的图像越准确,这也是DiffBFR在IRM中首先恢复低分辨率图像的原因。
(2)纹理增强模块 (Texture Enhancement Module, TEM):
用于对图像进行纹理打磨。这里引入了一个无条件扩散模型,这是一个与LQ图像完全无关的模型,进一步使得恢复结果看起来更接近真实图像数据。论文从理论上证明了这种在纯HQ图像上训练的无条件扩散模型有助于IRM在像素级空间中输出图像的正确分布,即应用该模块后图像分布的FID低于使用前的FID,得到的修复图像总体上和HQ图像的分布更相似。具体而言,就是利用时间步长截断采样,在保留身份信息的同时对像素级纹理进行打磨。
DiffBFR的采样推理步骤如图2所示,采样推理过程示意图如图3所示。
该论文提出了基于扩散模型的盲退化人脸图像恢复模型DiffBFR,避免了过去基于GAN方法的训练模式崩溃和长尾消失问题。通过将先验嵌入到扩散模型中,从随机严重退化的人脸图像中生成高质量清晰的恢复图像。具体来说,提出了IRM和TEM两个模块,分别用于还原逼真度和还原真实细节。理论边界的推导和实验图像的演示表明了该模型的优越性,并与现有的SOTA方法进行了定性和定量比较。
本论文由美图影像研究院(MT Lab)和中国科学院大学的研究者们共同提出。美图影像研究院(MT Lab)成立于2010年,是美图公司致力于计算机视觉、深度学习、增强现实等领域的算法研究、工程开发和产品化落地的团队,成立以来聚焦于计算机视觉领域的探索研究,2013年开始布局深度学习,为美图旗下全系软硬件产品提供技术支持,同时面向影像行业内多个垂直赛道提供针对性SaaS服务,通过前沿影像技术推动美图AI产品生态发展,曾先后参与CVPR、ICCV、ECCV等国际顶级赛事并斩获十余项冠亚军,发表超30篇国际顶级学术会议论文。美图影像研究院(MT Lab)长期深耕影像领域研发,已经形成深厚的技术储备,在图片、视频、设计、数字人领域具有丰富的技术落地经验。
关键词:
面向AI时代,运营商拥有数据、模型、算力三大能力。
刚刚度过十一岁生日的客如云,迎来了自己的“中场战事”。
中国广电在国家广播电视总局的坚强领导下,带领着广电网络行业取得了全
新的时代已然开启。
前台的内容越精彩、形态越丰富,后台就需要越强大的技术支撑。