IT思维

公众号/将门创投

From:google 编译:T.R

对于户外场景的夜间摄影目前还主要是单反等大型相机的天下，即使需要扛着笨重的长枪短跑，摄影师们为了得出点点星河也在所不惜。虽然前些年利用手机照相机在夜间进行拍摄得到了较好的实验结果，但所使用的方法对于目前的大多数用户来说却不太现实。

在Pixel 3中，谷歌相机app提供了NightSight功能，可以在黑暗和低光环境中拍摄出具有较高视觉质量的图像。在技术人员不断的努力下，NightSight也持续拓展着低光摄影能力的边界。目前Pixel4可以支持长达4分钟的曝光时间，而Pixel3和3a也能达到1分钟的长时曝光。这使得手机相机可以为美丽的夜空星辰拍摄出清晰锐利的图像，也可以在无需在人工光源的辅助下拍摄出黑夜中的景色。下面我们就一起来看看这款相机app是如何实现优异的夜拍性能的。

利用Pixels4 XL 拍摄的银河美景。在没有后期和增强的情况下，可以展示出比肉眼更为丰富和细腻和黑夜景色，银河中的星尘和成千上万的星星都尽收眼底。

NightSight原理

相机传感器在接收光线的同时会存在一种散粒噪声不确定性，使图像看起来呈现出明显的颗粒状。然而散粒噪声会随着接收光强的增加而减小，对于相机来说接收更多的光就意味着可以成像出更好的图片。

但在给定的时间内到达传感器的光线，其总量受到了相机镜头孔径的影响。虽然可以通过延长曝光时间来增加进光量，但场景的运动或摄影师的抖动都会造成成像模糊。为了避免这一矛盾，NightSight将曝光分解到多帧中去，每一帧的曝光时间更短运动模糊也越少。这些拍摄好的帧随后通过对齐来补偿相机的抖动或场景运动。虽然每一帧会有可观的颗粒噪声，但把多帧对齐后结合在一起图像的观感就会变得更加清晰了。

曝光实验

在最初版本的NightSight发布后，研究人员就将目标锁定在了提升极暗光条件下的成像水平，拍摄夜空中的星星。但如果使用先前的方法，高质量的图像需要很长的曝光时间，无法应用于手持设备，只能将相机固定住才能完成。

此外夜景拍摄还需要考虑场景中物体的运动，比如说随风飘摇的树枝、飞速流过的云朵、东升西落的月亮星辰。在拍摄美丽的夜空时，我们不想看到星星拖着长长的模糊尾巴，将天空切得破碎。为了解决这一问题，研究人员将曝光时间缩短到星星不会拖尾的程度，实验中发现如果保持点光源的程度拍摄曝光时间不能超过16s。

曝光两分钟照片引起的运动模糊

虽然可以为一张照片拍摄多帧图像，但总的拍摄时间受到了星星的运动限制和用户耐心的限制，所有研究人员将NightSight需要的帧数限制在了15帧内，每帧不超过16秒。16s的曝光时间可以为我们捕捉足够的光线用于成像，但有个有效的相机app还需要处理一系列暗光摄影所面临的独特问题。

暗电流和热噪点

暗电流会使得相机的CMOS图像传感器记录下杂散信号，看起来就像是对应的像素接收到了少量的光，但实际却是没有光照抵达这些像素的。当曝光时间很短的时这一效应是可以忽略的，然而长达数秒的曝光时就会造成十分显著的影响。由于传感器无法做到完美无暇，一些像素的暗电流将会更强，会在记录的图像帧上留下很小的亮点。

不过研究人员可以比较周围像素点的强度和时序上对应位置的像素来识别出这些像素点，并用周围像素点的平均强度来代替。虽然将原始像素点剔除损失了信息，但在实际成像过程中，这一损失对于提升后的图像质量来说是可以忽略的。

左图显示了一些热噪点，来自于非均匀的暗电流；右图显示了局外点被移除后图像质量得到显著提升，场景的细节都被保留了下来。

场景构图/合成

手机的屏幕可以被用作电子取景器，相机拍摄了一系列连续的帧可以用于辅助场景构成，这些帧可以同时用于相机的自动对焦、自动曝光和自动白平衡等。由于要为用户显示实时的场景，屏幕需要至少以15帧的速度进行显示，将图像的曝光时间限制在了66ms内。这使得低光照条件下的显示充满了挑战，屏幕只能显示出月亮和较亮的星星，却看不到场景的细节，用户就无法有效取景构图了。

为了在极低光照下显示场景，NightSight使用了一种称为“后快门取景器”的方式。当快门按钮按下后，每一帧长曝光的图像都被显示在屏幕上，当达到16s时其收集的光已经是正常取景器的250倍了，用户可以轻易的看到第一帧拍摄的场景，并针对性的进行调整。当构图完成后，初始化拍摄结束，随后的拍摄将在期望后的位置进行。

左图：暗光下的取景器；右图：后快门取景器，来自于长曝光的结果。

自动对焦

自动对焦保证了成像的锐利程度。通常手机需要分析取景器中的帧来决定镜头与传感器的距离从而实现图像对焦，但在低光条件下黑漆漆的图像会让自动对焦算法找不到图像细节，从而对焦失败。与前面同样的想法，在暗光条件下NightSihgt将自动转换到“后快门自动对焦”模式，在按下快门后相机将采集两张1s曝光时长的图像来获得低光场景下的细节以便实现自动对焦。这些帧只会被用来进行自动对焦而不会用于生成最后的图像。

但即使通过长时曝光有时候光线太少，自动对焦算法还是无法获得足够的信息进行分析，这种时候相机就会对焦在无穷远处。此外NightSight还配备了手动对焦按钮，为用户在极暗环境中提供了手动对焦的选择。

天空处理

当非常暗的图像在屏幕上显示出来的时候会比实际情况要亮，这会使得用户产生感知偏差。在夜里我们期待的天空是黑色的，如果图像中的天变得特别亮就会造成图像整体感觉的退化。

为了处理这一问题，在NightSight中有选择地对天空部分进行了处理。利用机器学习的方法来检测图像中的天空区域，并将对应的模型部署到手机上来区分图像中天空和非天空区域。

没有经过天空处理的图像和经过天空处理后的图像(右侧)

天空检测还使得对应区域的噪声可以有效去除，并针对性的提高云朵、银河等天空目标的色调和质量，以及对比度。

手机拍出的银河大片

将手机放在三脚架上，NightSight可以布满星星的天空和月光下的夜景。

研究人员还将在未来继续研究如果捕捉夜景中高对比度的图像，同时有效处理夜空图像的噪声，将更多的星星和夜空的细节呈现给用户。