最近（jìn）看到了一个比较好玩的项目，号（hào）称可以将非常小的图片表情（qíng）恢复原状。通过一（yī）个机器（qì）学习模型对面部的标（biāo）志进行渐进式的（de）超分辨，训（xùn）练后的网（wǎng）络可以输入小至16×16像（xiàng）素（sù）的图像进行（háng）面（miàn）部图像的重建，并重新缩放到128×128像素大小作为输出图像，以下是他们给出的例子：

相关论（lùn）文介绍

该（gāi）机器学（xué）习（xí）模型来自论文：Progressive Face Super-Resolution via Attention to Facial Landmark（https://arxiv.org/abs/1908.08239），论文提出了一（yī）种新的人脸识别方法，用（yòng）这个方法（fǎ）可生成逼（bī）真的8倍超（chāo）分辨率的人（rén）脸图像的同时，完（wán）全保留（liú）其面部细节。该神（shén）经网络的（de）训练（liàn）方法是渐进式的，通（tōng）过将网络（luò）分（fèn）割成连续的（de）步骤，使训练稳定（dìng）下来，每一步输出的分辨率都在不断提高（gāo）。论文（wén）还提出了（le）一种新的（de）面部注意力丢失方法，并（bìng）将其应用于每一步的（de）训练（liàn）中，通过增加像素差和（hé）热图（tú）值来更详细地恢复面部属性。最后，论文（wén）还提出一个压缩版本的人脸（liǎn）对齐网络（FAN）的标（biāo）志热（rè）图提取。利用所提出的FAN，可以提取出适合于人脸SR的热图，并减少了整体训练时间。实验结果证明，该方法在（zài）定性和（hé）定量测量方面都优于目前（qián）最先进的方法，尤（yóu）其是在面部（bù）感知质量方（fāng）面（miàn）。

然而，论文中有一个没被提（tí）及的（de）细节（jiē），就是最后（hòu）输（shū）出（chū）的图片带有疤痕的（de）比例非常高（gāo）?，活（huó）脱脱（tuō）都变成了哈利（lì）波特（tè）呢。

左：真人，中：原（yuán）输（shū）入（rù）表（biǎo）情，右：输出结果

仔细一（yī）看右图还真的怪吓人的，幸好（hǎo）农历（lì）七月已（yǐ）经过去了

另外（wài），该模型的最（zuì）佳（jiā）训练场景是输入的图像（xiàng）大（dà）小应该为16×16像素，并且（qiě）需要使（shǐ）用与训练和测试模型完全相同的代码。

如果原图像不是16×16像素的呢？

如上（shàng）图所示，在Twitter上有一组大小正好为16×16像素（sù）的表情符号（大家也可（kě）以自行到Twitter表（biǎo）情的Github项目查看（kàn）：https://github.com/twitter/twemoji），作（zuò）者（zhě）利（lì）用这（zhè）些（xiē）表（biǎo）情进行了测试，结果可以（yǐ）看下图：

以上8组表情的的（de）左侧（cè）都是原（yuán）图，右侧则是输出结（jié）果，这训练出（chū）来的结果也（yě）太老龄（líng）化了吧，面部全部都满（mǎn）脸皱纹（wén），连披萨都烤的毫（háo）无食欲（还是叫（jiào）个必胜客的（de）披萨吃（chī）吧（ba），推特牌就算了（le））。

现在有了新的进展！因为这个模型是专门用（yòng）于寻找面部标志的（de），所以任（rèn）何一（yī）个标志（zhì）都可以在一个像素上画出眼睛和鼻孔。作者表示非常肯（kěn）定（dìng）意大利辣香（xiāng）肠披萨就是模仿人类的嘴唇?制成的…

下面的样本是（shì）经过精（jīng）心挑选的，然而许（xǔ）多输出的结果都不是很理想。作者也花了（le）很大力气鼓励模型对面部特征做出积极的猜测。例如（rú），虽然推特的（de）图像已经是16×16像素，但如果首先（xiān）通过传统的大（dà）小调整将其从16×16像（xiàng）素（sù）的输入调整（zhěng）到（dào）128×128像素，然后再降低到16×16像素，通常会得到更好的结果。这显（xiǎn）然增加了很多模糊，但（dàn）似乎（hū）为模型提供了更多创造（zào）性的空间来解（jiě）释某个事（shì）物。作者还将预测的图像作（zuò）为输入发送回（huí）模型进行（háng）迭代（dài）（迭代次数多（duō）达（dá）10次（cì）），其中有许多（duō）输入图像都是来自后（hòu）来迭代生（shēng）成的（de）结果。然而（ér），在10次迭（dié）代中只有（yǒu）3次可以看（kàn）到人的眼睛。

作（zuò）者还非常（cháng）喜欢这个绿色的很像龙（或者像蛇（shé））的（de）表情。除了一只眼睛以外，它从来没有真正拥（yōng）有过（guò）人（rén）类的（de）特征，但（dàn）生成图（tú）片的人造（zào）风格令作者（zhě）非常喜欢（huān）。

当你放大或缩小一个StyleGAN面（miàn）部（bù）模型（xíng）时，作（zuò）者联（lián）想到这篇Gan可操控性论文（https://arxiv.org/pdf/1907.07171.pdf）。

以下是用Face Super-Resolution模（mó）型缩放的图像结（jié）果：

该动图无法上传，敬请移步到原文查看：https://iforcedabot.com/photo-realistic-emojis-and-emotes-with-progressive-face-super-resolution/。

Twitch表情的（de）输（shū）出效果如何？

令人惊讶的是，只需要一点点调整，爬行动物图片的（de）输出结果，面部看起来更像（xiàng）人类了！说好的建国以（yǐ）后动（dòng）物不能（néng）成精（jīng）呢？！！

Twitch表情并（bìng）不完全适用于（yú）16×16，其中一些（xiē）具有高分辨率版本，而另一些则没有。作者（zhě）尝（cháng）试了所有种类，因此对于以下的（de）某些图片，输入的时候已经是（shì）高分辨率（lǜ），但在进入模型之前被调（diào）整为16×16像素大（dà）小。图片输出结果也在下方，因为与（yǔ）真（zhēn）正（zhèng）的高分辨率表情经常有一（yī）种有趣的对比。

最后来看看游戏精灵们（men）的生成结果

由于篇幅有（yǒu）限，作者没有拿更多（duō）的精灵（líng）进行测（cè）试，不过可（kě）以期待（dài）作者之（zhī）后的更新~

进一步探索

我认为可以做更多（duō）的事情来（lái）鼓励（lì）模（mó）型在应用人（rén）类（lèi）特征方面具有创造性 —— 目（mù）前我只是尝试（shì）对管道（dào）进行一些调整并迭代，几乎没有做（zuò）其（qí）他（tā）的事情。使用其他模型的可能性是无（wú）穷无尽的。作（zuò）者立即联想到StyleGAN编码（mǎ）：https://twitter.com/jonathanfly/status/1138236372572135424

在 https://selfie2anime.com/上也有一（yī）个快速测试，可以告诉你在动漫里（lǐ）长什（shí）么样子，输出（chū）的结果会发送到邮（yóu）箱（xiāng）中。

更新1：更多（duō）Minecraft

我被要求尝（cháng）试用更多（duō）的Minecraft纹理去进行测试，当然是（shì）以16×16像素的图（tú）片作为样本。结果很（hěn）显然（rán），绝（jué）大（dà）多（duō）数（shù）的样本并没有真正发挥（huī）作用......?

完整数据集地（dì）址（zhǐ）：https://drive.google.com/open?id=1kzmgMAshMeO8dOs6gnr0IzHWHsn_MBux

面（miàn）部特（tè）征通常非常微妙，实际上会比明显的面部特征更令人毛骨悚然（rán）。想象一下（xià）在玩游戏的时候，隐隐（yǐn）约约感（gǎn）觉看（kàn）到（dào）了一张脸，但是又不能对这张图（tú）像（xiàng）做出什么操作......

更新2：不能停止尝试（shì）的事情

为了（le）寻找更多可以用来（lái）进行测试（shì）的像素图像（xiàng），作者在这颗恒星的图像上尝试（shì）了 Face Super-Resolution 训练。只花了大约40次迭代，（输（shū）出的图像）就揭示它实际（jì）上是（shì）一个（gè）可爱的小外（wài）星人的形象。很确定天文学是（shì）如何运作的？https://t.co/dUQjERGllq

更新3：视（shì）频的 Face Super-Resolution

继续用（yòng）Face Super-Resolution神（shén）经网络对一（yī）个16x16像素的（de）视频进行超分辨，结果大家（jiā）也都看到了（le），Face Super-Resolution 基本上把它变（biàn）成了DeepFake里的魔鬼（guǐ）。?

YouTube视频：https://youtu.be/H8qH_mdceNM

最后（hòu），对 Face Super-Resolution 感兴（xìng）趣的同学（xué），可（kě）以到Colab进（jìn）行尝试（shì）。如果大家知道为什么会出现如此恐怖的现（xiàn）象，也（yě）可以在（zài）留言区进（jìn）行留言（yán）~

https://gist.github.com/JonathanFly/80b669a72bf624d17b56a1cfec742588#file-progressivefacesuperresolutiondemo-ipynb

快速在线（xiàn）体（tǐ）验地址（zhǐ）：

https://colab.research.google.com/gist/JonathanFly/80b669a72bf624d17b56a1cfec742588/progressivefacesuperresolutiondemo.ipynb

彩蛋时（shí）间（jiān）到

以下是小（xiǎo）编自（zì）己（jǐ）在Colab上（shàng）测试的（de）结果，图片都是在网（wǎng）络（luò）找的，只需要在代码中修改网络图片的地址即可运行。具体效果如何，请大家自行感受吧（ba）

（不能让我一个人辣眼睛）

via https://iforcedabot.com/photo-realistic-emojis-and-emotes-with-progressive-face-super-resolution/