IT思维

公众号/将门创投

From: Github; 编译：Iris

3D摄影相机利用图像渲染技术实现了视图合成，一种能够生成全新视觉感知的功能。相比起2D摄影，它能为摄影者提供沉浸式体验：平面显示器上的每张照片都有着优异的图片感知质量，呈现栩栩如生的立体视觉效果。

由弗吉尼亚理工大学、台湾清华大学和 Facebook 组成的研究团队围绕3D摄影的概念，基于基础学习(learning-based)修复模型，深入探讨了将RGB-D 输入图像进行渲染以生成3D 照片的方法，同时保留原始图像的颜色和深度结构，借助分层深度视图技术合成新3D视图。

点击下方链接，复习相关文章！

同样是影像修复技术，百年前的老电影是如何复原的？

新式图像重建和渲染技术

传统的3D摄影采用“刚性”层结构生成分层深度图像(LDI)，由于其视图圆角更紧凑，可以将视图转换为轻量级的网格来进行渲染。它使用了各向同性扩散算法来绘制视图颜色，不过，这种算法容易产生近似于磨皮的视觉效果，不能很好地呈现图像的纹理和结构。

“刚性”层结构的另一个问题在于，图像中的每个像素层数都是固定的。然而在视图深度不连续的情况下，往往会出现一个像素层内的像素含量突然改变的状况，从而破坏了卷积核接受域内的局部性。

从左到右依次为深度扭曲图像、深度拉伸图像、Facebook 3D图像和经新型算法调整后的图像

基础学习修复模型的优势就是直接将RGB-D图像转换为3D照片。与“刚性”层结构不同，新视图能存储像素之间的连接结构，能容许转换过程中像素量的变化。基础学习修复模型能与空间自适应性的内画模型(spatially-adaptive)相结合，将视图绘制区域融合到分层深度图像中，形成一个递归算法，直到所有深度视图边缘都绘制完毕，形成更有质感的3D效果。

团队给每个分层深度图像都创建了一个像素单层，并将每个LDI像素与其四个相邻的基数像素连接起来。为了绘制缺失的视图节点，团队需要找到深度图像中的像素不连续点。在大多数由立体摄影方法或深度视图网络生成的分层深度图像中，像素之间的视图不连续点被模糊化，因此难以对它们进行精确定位。团队通过横向中值滤波器对深度图进行锐化处理，依托于相邻像素间的视差差值，在进一步的阈值化处理后得到像素不连续点。

图像描边锐化处理示意图

接着，团队将这些不连续点标记为1，将其他像素点标记为0，从而创建了二值映射。相邻的不连续像素被合并到一个大集合中。为了避免在像素结点处出现视图边缘合并的现象（即图像出现重影或伪影），团队通过解析深度视图的局部连接性，对像素的连接趋势加以预测，以快速将它们分离开来。团队将小于10像素的视图、孤立图像片段和悬空片段都删除，以保证图像的高清晰度。

处理图像伪影过程示意图

处理不完美的深度边缘

团队将合成区域扩大了5个像素，以消除修补视图区的伪影。递归算法每次都在一个预先计算好的深度边缘上运行，合成相邻遮挡区域的色相和像素内容，因此在边缘部位不连续点上的LDI像素要被断开，由邻近轮廓像素来补足空缺。

只有背景轮廓（红色部分）需要进一步内画，其周围的视图内容则扩展为“闭塞区域”。团队需对“闭塞区域”进行修复处理，通过生成一个合成区域和一个新像素的连续区域，构成二维像素坐标，继而从中提取出语境区域，将合成像素补入LDI像素中。

LDI 修复算法：(a) 初始 LDI 像素呈全连接态，深灰色区域为深度边缘；(b)深度边缘 LDI 像素连接被断开，分别形成前景轮廓（绿色）和背景轮廓（红色）；(c) 从背景轮廓中提取语境区域（蓝色），重新生成合成区域（红色）；(d) 将合成像素补入 LDI 像素。

在输入视图子集时，颜色、深度、提取以及连接的深度边缘的数值保持固定，由团队随机选择其中一个视图边缘作为变量，使用边缘修复网络来处理合成区域中的深度边缘，将修复后的边缘与输入的颜色相连接，并应用颜色修复网络生成修复用色相。就这样，修复后的深度边缘能与本身的视图深度连接起来，借助深度修复网络来修复视图深度。

深度修复网络通过识别、分离和还原语境颜色来修复视图

这些被修复过的视图重返到原始视图中，即可生成3D纹理网格，只需在标准图形像引擎上加以简单的渲染，就能产生高质量的3D图像。

原始效果图（左）和局部放大后的效果图（最右）对比

与目前最先进的视图合成技术相比，新型LDI递归修复算法在视觉效果上更生动清晰，图像的视觉伪影也明显减少。可以预见，这种技术能将3D摄影带到更广阔的平台，让人们轻松地拍摄3D照片，拥有更深入的沉浸式体验。