Blind face恢復是從未知退化中恢復高質量的人臉圖像。由于人臉圖像包含豐富的上下文信息，研究者提出了一種方法，RestoreFormer，它探索了對上下文信息建模的全空間注意力，并超越了使用本地運算符的現(xiàn)有工作。

01

概述

Blind face恢復是從未知退化中恢復高質量的人臉圖像。由于人臉圖像包含豐富的上下文信息，研究者提出了一種方法，RestoreFormer，它探索了對上下文信息建模的全空間注意力，并超越了使用本地運算符的現(xiàn)有工作。

與現(xiàn)有技術相比，RestoreFormer有幾個好處。首先，與以前的Vision Transformers(ViT)中的傳統(tǒng)多頭自注意力不同，RestoreFormer合并了一個多頭交叉注意力層來學習損壞查詢和高質量鍵值對之間的全空間交互。其次，ResotreFormer中的鍵值對是從面向重建的高質量字典中采樣的，其元素豐富，具有專門針對人臉重建的高質量人臉特征，從而具有出色的恢復效果。第三，RestoreFormer在一個合成數(shù)據(jù)集和三個真實世界數(shù)據(jù)集上優(yōu)于先進的最先進方法，并生成具有更好視覺質量的圖像。

02

背景

Blind face恢復旨在從已遭受復雜多樣退化（如下采樣、模糊、噪聲、壓縮偽影等）的退化人臉中恢復出高質量的人臉。由于退化在現(xiàn)實世界中是未知的，因此恢復是一項具有挑戰(zhàn)性的任務。Blind face恢復旨在從復雜和未知的退化中恢復高質量的人臉。以前的工作表明，額外的先驗在這項任務中起著至關重要的作用，它們可以粗略地分為三種類型：幾何、先驗和生成先驗。

基于幾何先驗的方法傾向于使用landmark熱圖或面部組件熱圖逐步恢復面部。由于這些幾何先驗主要是從低質量的人臉生成的，因此損壞的人臉限制了恢復的性能。另一方面，基于參考的作品需要參考與退化的人臉具有相同的身份，這并不總是可以訪問的。雖然有研究者通過收集由高質量面部組件特征組成的組件字典作為一般參考來緩解這一限制，這些組件字典中的面部細節(jié)是有限的，因為它們是用面向離線識別的模型提取的，并且只關注一些面部成分。

Vision Transformer。Transformer是一種最初用于自然語言處理領域的深度神經(jīng)網(wǎng)絡 。由于其具有競爭力的表示能力，它開始應用于計算機視覺任務，例如識別、檢測和分割。在有些論文中，低級視覺任務也從中受益。有研究者利用Transformer在大規(guī)模預訓練上的優(yōu)勢，構建了一個復雜的模型，涵蓋了多個圖像處理任務，例如去噪、去雨和超分辨率。埃塞爾等人【Patrick Esser, Robin Rombach, and Bjorn Ommer. Taming transformers for high-resolution image synthesis】應用transformer通過預測其編碼器的一系列碼本索引來生成高分辨率圖像，充分利用了強代表性transformer在可接受的計算資源內(nèi)的容量。 在【Mingrui Zhu, Changcheng Liang, Nannan Wang, Xiaoyu Wang, Zhifeng Li, and Xinbo Gao. A sketch-transformer network for face photo-sketch synthesis】中，采用transformer獲取人臉的全局結構，有助photo-sketch的合成。

03

新框架分析

(a)MHSA是一種具有多頭自注意力的transformer，用于大多數(shù)以前的ViT。它的查詢、鍵和值來自降級信息Zd。(b)MHCA是一個帶有多頭交叉注意力的transformer，用于提出的RestoreFormer。它旨在通過將Zd作為查詢，將Zp作為鍵值對，在空間上融合退化信息Zd及其相應的高質量先驗Zp。(c)是RestoreFormer的整個流程。首先部署編碼器Ed來提取退化人臉I(yè)d的表示Zd，并從HQ字典D中提取其最近的高質量先驗Zp。然后使用兩個MHCA融合退化特征Zd和先驗Zp。最后，在融合表示Z0f上應用****Dd以恢復高質量的人臉I(yè)d。

Comparison of Prior Dictionary。(a)DFDNet中提出的組件字典是由VGG網(wǎng)絡離線生成的，并使用K-means進行聚類。他們只考慮眼睛、鼻子和嘴巴。(b)今天研究者提出的HQ Dictionary是通過結合矢量量化思想的高質量人臉生成網(wǎng)絡學習的。HQ Dictionary中的高質量先驗是面向重建的，為退化人臉的恢復提供更多的人臉細節(jié)。此外HQ Dictionary中的先驗涉及所有面部區(qū)域。

04

實驗及可視化