这次整理的是人脸容颜老去、或者年轻化的方向!来速览GAN怎么做的吧~

容颜渐失!GAN来预测?_GAN生成对抗网络

1  2017-FACE AGING WITH CONDITIONAL GENERATIVE ADVERSARIAL NETWORKS

容颜渐失!GAN来预测?_GAN生成对抗网络_02

生成对抗网络(GAN)擅长图像生成,该论文提出基于GAN的自动容颜老化的方法。在此之前,大多数工作用GAN来改变面部属性。

而本工作强调的是在老化的容颜中保留原来的个性特征,为此,提出潜在向量的“个性保留”优化方法。通过最新的人脸识别和年龄估计解决方案对生成的衰老和恢复年轻的人脸图像进行客观评估,表明该方法极具潜力。

容颜渐失!GAN来预测?_GAN生成对抗网络_03

容颜渐失!GAN来预测?_GAN生成对抗网络_04

容颜渐失!GAN来预测?_GAN生成对抗网络_05

2  2017 CVPR - Age Progression/Regression by Conditional Adversarial Autoencoder

http://openaccess.thecvf.com/content_cvpr_2017/papers/Zhang_Age_ProgressionRegression_by_CVPR_2017_paper.pdf

容颜渐失!GAN来预测?_GAN生成对抗网络_06

本文假设人脸图像处于一种高维流形(high-dimensional manifold)中,而年龄的变化就是图像在这个流形中沿着某个特定方向移动所得,实现手段是通过一种条件对抗自动编码器(CAAE)。

该算法可学习面部流形,通过在上面“遍历”实现平滑的年龄变化。在CAAE中,首先通过卷积编码将人脸映射到潜在向量,然后通过反卷积的生成器将向量投影到以年龄为条件的人脸流形。潜在向量保留个性化的面部个性身份特征。

另外,两个对抗网络分别施加在编码器和生成器上,强制生成更逼真的人脸。

容颜渐失!GAN来预测?_GAN生成对抗网络_07

容颜渐失!GAN来预测?_GAN生成对抗网络_08

容颜渐失!GAN来预测?_GAN生成对抗网络_09

3  2018 CVPR-Face Aging with Identity-Preserved Conditional Generative Adversarial Networks

容颜渐失!GAN来预测?_GAN生成对抗网络_10

脸部衰老对于跨年龄识别和娱乐相关应用至关重要。但由于缺乏同一个人在较长年龄范围内的脸部数据,极具挑战。由于不同人的衰老速度不同,本文的人脸衰老方法旨在合成目标年龄在某个给定年龄组中的人脸,而不是合成具有特定年龄的人脸。

鉴于合成人脸应该与输入人脸具有相同的身份,提出了一种身份保留的条件生成对抗网络(IPCGAN)框架,其中条件生成的对抗网络生成逼真的、符合目标年龄的面孔,身份保留模块保留身份信息,年龄分类器保证生成的人脸在指定的年龄组。

容颜渐失!GAN来预测?_GAN生成对抗网络_11

容颜渐失!GAN来预测?_GAN生成对抗网络_12

4   2018 CVPR - Learning Face Age Progression: A Pyramid Architecture of GANs

容颜渐失!GAN来预测?_GAN生成对抗网络_13

提出了一种新的基于GAN的年龄老化方法,结合人脸验证和年龄估计技术,解决年龄效果的生成和身份的保留问题;

强调与感知年龄密切相关、但在其他研究中被忽略的面部前额和头发成分的重要性:它确实提高了合成年龄的准确性;

在已有实验的基础上,建立新的验证实验,包括基于商业人脸分析工具的评价和对表情、姿势、妆容变化的不敏感性评价等。

容颜渐失!GAN来预测?_GAN生成对抗网络_14

5  2018 IJCAI-Dual Conditional GANs for Face Aging and Rejuvenation

容颜渐失!GAN来预测?_GAN生成对抗网络_15

面部衰老和年轻化主要有两个问题:1)缺少年龄顺序序列的训练数据;2)如何同时渲染老龄面容和保留个性(身份)。

为了解决这些问题,本文提出双重条件GAN(Dual cGAN)机制,该机制可以从不同年龄的、未标记的人脸图像中训练模型来完成人脸衰老和年轻化。所提架构中,原始条件GAN会根据年龄条件将人脸图像转换为其他年龄,而双重条件GAN则还可以完成反过来的任务。

容颜渐失!GAN来预测?_GAN生成对抗网络_16

容颜渐失!GAN来预测?_GAN生成对抗网络_17

容颜渐失!GAN来预测?_GAN生成对抗网络_18

6   2018 CVPR - Generative Adversarial Style Transfer Networks for Face Aging

容颜渐失!GAN来预测?_GAN生成对抗网络_19

提出从图像风格迁移的角度来研究问题:将人的年龄上的容颜视为图像的风格元素。

论文表明对于较大的年龄差异,可以通过一组生成对抗网络(CycleGAN)进行训练来获取令人信服的面部衰老效果。

此外,还提出了CycleGAN的变体(并协同预训练的年龄预测模型),当期望的年龄差异较小时,该变体模型表现更好。

上述两方法具有互补性,而它们的融合对于任何期望水平的老化效果都表现良好。最后通过用户研究进行定量评估,表明该方法优于现有的面部衰老技术。

容颜渐失!GAN来预测?_GAN生成对抗网络_20

容颜渐失!GAN来预测?_GAN生成对抗网络_21

7   2019 - How Old Are You? Face Age Translation with Identity Preservation Using GANs

容颜渐失!GAN来预测?_GAN生成对抗网络_22

与最近使用生成对抗网络(GANs)的最流行的面部衰老网络不同,所提方法不只是将年轻的面孔转换为老化面孔,本文还使用边缘图作为中间表示:

先提取年轻面孔的边缘图,用基于CycleGAN的网络将其转换为老化面孔的边缘图,

然后采用另一个基于pix2pixHD的网络将合成的边缘图、拼接上个性身份信息变成老化面孔。

容颜渐失!GAN来预测?_GAN生成对抗网络_23

8   2019 - LOOK GLOBALLY, AGE LOCALLY: FACE AGING WITH AN ATTENTION MECHANISM

容颜渐失!GAN来预测?_GAN生成对抗网络_24

现有基于cGAN的方法通常采用逐像素级别的损失来保持个性身份特征和背景一致。但这种逐像素损失可能会导致幻影或模糊。

为此,本文介绍了一种针对面部衰老的注意力条件GAN(AcGAN)方法,利用注意力机制仅关注与面部衰老相关的区域。这样可使合成的面部可以很好地保留背景信息和个人身份。

容颜渐失!GAN来预测?_GAN生成对抗网络_25

9   2019-12-20 CONTROLLABLE FACE AGING

本文基于以下两个观察:1)人们在时间流逝老化时,会因在不同条件下显得面部特征多变。例如,在外面工作时肤色可能变暗;2)在老化过程中需要保持一些不变的面部特征,例如,种族和性别。该工作提出通过可属性分解的生成对抗网络完成可控的容颜老化方法。

容颜渐失!GAN来预测?_GAN生成对抗网络_26

 

先到这吧~(整理不易,劳烦记得点个赞啦~


最后附上、一些人脸年龄变化相关的论文供参考(没有全细看,可能有个别不一定紧密相关2333)

001  (2019-12-20) Controllable Face Aging

    https://arxiv.xilesou.top/pdf/1912.09694.pdf 

002  (2019-11-18) DebFace  De-biasing Face Recognition

    https://arxiv.xilesou.top/pdf/1911.08080.pdf

003  (2019-11-16) What Will Your Child Look Like  DNA-Net  Age and Gender Aware Kin Face Synthesizer

    https://arxiv.xilesou.top/pdf/1911.07014.pdf

004  (2019-11-15) A3GAN  An Attribute-aware Attentive Generative Adversarial Network for Face Aging

    https://arxiv.xilesou.top/pdf/1911.06531.pdf

005  (2019-10-24) Look globally age locally  Face aging with an attention mechanism

    https://arxiv.xilesou.top/pdf/1910.12771.pdf

006  (2019-09-11) How Old Are You  Face Age Translation with Identity Preservation Using GANs

    https://arxiv.xilesou.top/pdf/1909.04988.pdf

007  (2019-11-25) Interpreting the Latent Space of GANs for Semantic Face Editing

    https://arxiv.xilesou.top/pdf/1907.10786.pdf

008  (2019-08-30) Degenerative Adversarial NeuroImage Nets  Generating Images that Mimic Disease Progression

    https://arxiv.xilesou.top/pdf/1907.02787.pdf

009  (2019-06-17) Exemplar Guided Face Image Super-Resolution without Facial Landmarks

    https://arxiv.xilesou.top/pdf/1906.07078.pdf

010  (2019-05-31) Reconstructing faces from voices

    https://arxiv.xilesou.top/pdf/1905.10604.pdf

011  (2019-05-16) FH-GAN  Face Hallucination and Recognition using Generative Adversarial Network

    https://arxiv.xilesou.top/pdf/1905.06537.pdf

012  (2019-05-3) FlowSAN  Privacy-enhancing Semi-Adversarial Networks to Confound Arbitrary Face-based Gender Classifiers

    https://arxiv.xilesou.top/pdf/1905.01388.pdf

013  (2019-04-9) Decorrelated Adversarial Learning for Age-Invariant Face Recognition

    https://arxiv.xilesou.top/pdf/1904.04972.pdf

014  (2019-03-30) UVA  A Universal Variational Framework for Continuous Age Analysis

    https://arxiv.xilesou.top/pdf/1904.00158.pdf

015  (2019-10-6) Age Progression and Regression with Spatial Attention Modules

    https://arxiv.xilesou.top/pdf/1903.02133.pdf

016  (2019-02-26) BoostGAN for Occlusive Profile Face Frontalization and Recognition

    https://arxiv.xilesou.top/pdf/1902.09782.pdf

017  (2019-01-10) Learning Continuous Face Age Progression  A Pyramid of GANs

    https://arxiv.xilesou.top/pdf/1901.07528.pdf

018  (2018-11-27) Intra-class Variation Isolation in Conditional GANs

    https://arxiv.xilesou.top/pdf/1811.11296.pdf

019  (2019-03-31) Global and Local Consistent Wavelet-domain Age Synthesis

    https://arxiv.xilesou.top/pdf/1809.07764.pdf

020  (2019-04-15) Attribute-aware Face Aging with Wavelet-based Generative Adversarial Networks

    https://arxiv.xilesou.top/pdf/1809.06647.pdf

021  (2018-09-28) Anonymizing k-Facial Attributes via Adversarial Perturbations

    https://arxiv.xilesou.top/pdf/1805.09380.pdf

022  (2018-04-8) Facial Aging and Rejuvenation by Conditional Multi-Adversarial Autoencoder with Ordinal Regression

    https://arxiv.xilesou.top/pdf/1804.02740.pdf

023  (2018-08-6) Recursive Chaining of Reversible Image-to-image Translators For Face Aging

    https://arxiv.xilesou.top/pdf/1802.05023.pdf

024  (2018-02-1) Face Aging with Contextual Generative Adversarial Nets

    https://arxiv.xilesou.top/pdf/1802.00237.pdf

025  (2018-01-25) Global and Local Consistent Age Generative Adversarial Networks

    https://arxiv.xilesou.top/pdf/1801.08390.pdf

026  (2019-01-10) Learning Face Age Progression  A Pyramid Architecture of GANs

    https://arxiv.xilesou.top/pdf/1711.10352.pdf

027  (2017-12-1) Personalized and Occupational-aware Age Progression by Generative Adversarial Networks

    https://arxiv.xilesou.top/pdf/1711.09368.pdf

028  (2017-03-24) Temporal Non-Volume Preserving Approach to Facial Age-Progression and Age-Invariant Face Recognition

    https://arxiv.xilesou.top/pdf/1703.08617.pdf

029  (2017-03-28) Age Progression/Regression by Conditional Adversarial Autoencoder

    https://arxiv.xilesou.top/pdf/1702.08423.pdf

030  (2017-05-30) Face Aging With Conditional Generative Adversarial Networks

    https://arxiv.xilesou.top/pdf/1702.01983.pdf

031  (2018-12-6) Deep Identity-aware Transfer of Facial Attributes

    https://arxiv.xilesou.top/pdf/1610.05586.pdf

 

容颜渐失!GAN来预测?_GAN生成对抗网络_27

 


更多文章请关注《万象专栏》