IT思维

公众号/将门创投

From:UCSD 编译:T.R

在拍照时候最大的困难之一就是无法控制环境光的影响。在逆光、测光、暗光的影响下无法拍出满意的照片。很多时候不禁感叹，和摄影大师也许就仅仅隔着一盏摄影灯的距离！如何让手机也能拍出专业摄影工作室灯效下的人像呢？加州大学圣迭戈分校和谷歌的研究人员给出了他们的答案。

在最新提出的portrait relighting算法中，只需要单张RGB人像模型就可以重建出重新调整光照后的完美照片，画质不输专业摄影装备，而你需要的仅仅是一个可以拍照的智能手机，不用打光不用等候，轻轻一拍算法处理后就能拿到期待的光照效果。

上面的图中最左侧是输入的照片，右边三个是模型重建出在不同环境光照下的效果，照片的光照被完全修改为期待的样子了。

光照是肖像摄影最重要的部分之一，不同光照可以呈现出千差万别的效果。所以摄影也被称为光与影的艺术。专业的摄影工作室除了昂贵的相机外最引人瞩目的就是那一排排炫目的灯光设备了。

但对于大多数使用手机的消费者来说并不具备控制环境光照的条件，用手机自拍的小伙伴们没有滤镜、没有散射片、没有反光板，手头最多只有一个相机自带的闪光灯，而且闪光灯的强度还极其有限。

如何打破硬件设备的限制为重新为照片进行光照渲染一直是图形学、手机厂商的研究热点。使用后处理的方法改变照片的光照将会给手机摄影、特别是自拍照片的质量带来较大的提升。

先前的方法主要基于特定的硬件或者多张图像的HDR、或者需要已知环境光照，已知目标对象精确的几何形貌和反射率的方法来对照片的光照进行调整。研究人员充分考虑了HDR方法、光度立体视觉、单图像表面重建、人脸重建和重光照以及最近的深度学习方法，提出了一种基于自编码器的新型架构，在无需环境光照先验和物体外形及反射率的情况下重建出调整光照后的图像。

模型主要结构由编码器-解码器构成，在使用时只需要输入原图像并在编码空间中注入希望的环境光照，即可生成出期望的光照效果。

同时这一网络也可以预测输入图像的环境光照，并可以在编码空间（网络图中的瓶颈位置）进行调整，随后解码成期待光照下的图像。例如下图中用户对编码器恢复的环境光进行操作，解码后得到了新光照条件下的图像，随着光源的右移照片中人脸的右侧明显变亮了。

和传统方法或先前基于学习的方场景推断、人脸重建法不同的是，这一方法并没有任何显式的步骤用于估计物体的几何外形与反射率。像朗伯体反射和球均匀光照等模型限制方法的表达能力。而这篇文章中提出的方法直接利用单个网络通过原始图像和目标光照恢复出重光照后的图像，并将所有需要的几何与反射等物理模型涵盖到网络内部，通过充分的训练模型可以处理绝大多数的人脸表情和面部细节，阴暗、散射、高光和阴影都可以有效处理。

这一网络模型可以由下面的映射公式表示，通过输入源图像Is和目标光照，估计出目标图像It和源光照Ls。

下面是网络架构的细节图，输入图通过不断的卷积进行编码，并利用加权平均预测出了输入图像的环境光。随后目标光照注入网络并与编码器各层的特征共同解码最后得到期待光照下的图像。模型的损失主要来自于目标图像与输出图像，预测光照与真实环境光照之间的损失。

为了训练这一网络，研究人员们首先建立了(one-light-at-a-time,OLAT)数据集，首先构建了一个由七个相机304个LED光源组成的图像收集装置，其中每个相机相隔中心相机20度，并与拍摄主题相隔1.7m进行拍摄，随后将这些图像进行线性加权并结合起来得到训练的基准图像。实验中共邀请了22个人，每个人3-5个表情，共进行了98次拍摄（每次拍摄304个灯以此亮起）。通过数据处理和渲染共得到了226800对肖像数据用于训练。

此外，为了在自然环境光下渲染图像，研究人员利用了多个HDR数据集来得到环境光图，主要包括了来自Laval Indoor HDR Dataset，室外Eisklotz, HDRI Haven, HDRI Skies, HDRLabs, HDRMAPS, NoEmotion HDRs, and Openfootage等多个数据集的共计3094张不同的环境光照。

下图中可以看到模型的效果，与先前方法相比，重光照图像非常自然，不会出现各种奇怪的人工痕迹：

对于自然环境下的图像，在估计出的光照图上调整后重新渲染得到的效果也相当不错：

这种方法将有可能为手机照相软件的后处理提供强大的光照后处理能力，用户可以为照片像添加滤镜一样添加不同的环境光来实现丰富的照片效果，海滩、焰火、夕阳、雪山…你想要的都可以。也可以通过调整源图像的环境光来修正图像的光照，重新渲染出最靓的你！

如果想要了解更多详细信息，请查阅论文和作者主页：
https://arxiv.org/pdf/1905.00824.pdf
http://kevinkingo.com/

注：这篇论文已被SIGGRAPH 2019接收，作者表示将在6月CPVR的tutorial “Towards Relightable Volumetric Performance Capture of Humans”上展示论文。

ref:
https://arxiv.org/pdf/1905.00824.pdf
https://en.wikipedia.org/wiki/Reflection_mapping
https://www.zhihu.com/question/35920526/answer/65090973
http://www.pauldebevec.com/