IT思维

公众号/将门创投

整理：T.R 来源：arxiv

随着智能手机的迅速发展，移动端的人脸识别和分析越来越重要，而人脸追踪是很多视觉应用的主要出发点。在移动场景下的移动追踪面临着光照、尺度、角度的剧烈变化和环境背景、遮挡以及目标的消失等挑战。人脸追踪十分重要但由于合适数据集的缺乏使得这一领域收到的关注较少。

为了帮助移动端人脸追踪算法的开发和评测，帝国理工智能行为理解研究组（iBUG）提出了一个名为iBUG MobiFace benchmark的数据库。最为第一个移动端的人脸追踪基准，包含了50段智能手机在不受限环境下拍摄的影像、其中包括46个个体和50736帧。除了边框标记之外，还提供了9个序列属性标注。

研究人员还针对相关滤波和深度学习两大方法、23种前沿算法进行了评测。作者表示数据集将在近日公布在iBUG的网站上。

（编者注：iBUG网站上还有其他丰富的人类行为数据库，包括3D人脸追踪、人体姿态标注等等数据库感兴趣的小伙伴可以参看：https://ibug.doc.ic.ac.uk/resources）

1. 移动端人脸追踪

人脸追踪是指在视频中定位随时间变化的目标人脸。智能手机和移动设备的高速发展使得人脸追踪算法扮演着越来越重要作用，从人脸解锁到相机应用，从人脸识别到美颜工具，移动端的追踪成为了手机应用的核心功能之一。人脸追踪的目标是在给定目标初始位置的情况下，估计出接下来目标的位置和尺度。虽然目前的人脸追踪算法取得了一系列进步，但在移动端还面临着严峻的挑战。业界提出了移动端数据集和物体追踪数据集，但对于移动端的人脸追踪还没有细分的适合的数据集供研究人员开发和测评算法。

虽然与目标追踪很相似，但移动端的目标追踪算法却在以下方面有着独特的不同：

• 由于设备的旋转和移动使得目标的尺度变化剧烈；

• 相机和目标都在同时运动，相机运动较为快速；
• 严重遮挡的人脸在人脸分析中没有贡献，不应该被追踪；
• 移动端相机的视场较小、人脸很容易离开视场；
• 移动端算力有限；
• 照片受到卷帘快门的影响，造成不必要的扭曲和模糊。

一个优秀的移动人脸追踪算法不仅仅需要克服诸如光照变化等传统的挑战、更需要高效地解决移动端如视角、运动等特殊的问题。

本文通过提出iBUG移动人脸追踪数据库作为测评基准，详细分析OTB和VOT数据集上的23种前沿追踪算法，并指出了深度学习和人脸相关算法结合具有潜在的提高空间。

2.人脸追踪问题

人脸追踪问题可以归结为在初始位置给定后给出t帧中人脸的最优位置，表达式如下：

如果人脸无法观测则为0，如果可以观测则找到分数最大的区域r；其损失函数则可以定义为最小化帧序列中人脸位置的误差：

目前针对视觉追踪问题主要分为两种思路，一种是利用相关滤波的方法实现；另一种则是利用深度学习的方法来解决。

相关滤波器近年来在VOT和OTB数据集上取得了惊人的表现，它可以被视为一种模板匹配的过程。在初始化过程中，相关滤波通过第一帧中的目标区域进行训练，随后在后续帧的候选窗中应用滤波器。最后在生成的空间执行度图中选出最高的区域作为这一帧的预测输出，同时对CF进行更新。相关滤波主要需要处理以下四个方面的问题，分别是如何从原始数据中抽取有效特征、处理不同尺度的目标、边界效应带来的信息损失和长时间追踪。

而基于深度学习的追踪方法主要分为单个CNN追踪、双CNN追踪法和基于RNN的追踪方法，同时还有强化学习的方法也同样用于移动端的人脸追踪。

研究人员们对于算法进行了速度和准确率和评价，需要指出的是作者的电脑配置为Intel(R)  Core(TM) i7-7700 3.60GHz CPU 、 GeForce GTX  1060 GPU 3GB memory。

从精度对比图上可以发现几乎所有的追踪器在移动端人脸追踪任务中都出现了一定程度的性能下降。在成功率图中发现排名前五的算法都使用了深度特征，这意味着好的特征对于移动端人脸追踪任务具有重要的意义。

同时文中还对针对数据集的不同属性评价了23种算法，具体请参看文末链接的论文。结果显示目前移动端的人脸追踪算法相较于其他任务还有很大的差距。但可以看出基于深度网络的特征可能在未来扮演重要的作用，高效的在线学习策略可以帮助基于深度学习的追踪器平衡速度和精度的要求。

参考

paper：https://arxiv.org/pdf/1805.09749.pdf

Lab：https://ibug.doc.ic.ac.uk