面部识别是如何工作的?

大多数人对用于Instagram过滤器和人脸识别的面部识别感到满意。但这项相对较新的技术可能会让人感到有点毛骨悚然。你的脸就像一个指纹,面部识别背后的技术很复杂。

与任何新技术一样,面部识别也有不利之处。随着军方、警察、广告商和深度假冒创建者找到不正当的新方法来利用面部识别软件,这些缺点变得越来越明显。

现在,比以往任何时候都更重要的是,人们必须了解面部识别是如何工作的。了解面部识别的局限性以及它未来的发展也很重要。

面部识别出奇的简单

在进入面部识别的许多不同介质之前,了解面部识别过程是如何工作的是很重要的。以下是面部识别软件的三个应用程序,并简单解释它们如何识别或识别人脸:

基本的面部识别:对于Animoji和Instagram过滤器,你的手机摄像头会“寻找”脸部的定义特征,特别是一双眼睛、一只鼻子和一张嘴。然后,它使用算法来锁定一张脸,并确定它看的方向,它的嘴是否张开等。值得一提的是,这不是面部识别,它只是一个寻找人脸的软件。 Face ID和类似的程序:在你的手机上设置Face ID(或类似的程序)时,它会给你的脸拍一张照片,并测量你的面部特征之间的距离。然后,每次你去解锁手机时,它都会通过摄像头来测量和确认你的身份。 识别陌生人:当组织出于安全、广告或治安目的想要识别人脸时,它会使用算法将该人脸与广泛的人脸数据库进行比较。这一过程与苹果的Face ID几乎相同,但范围更大。从理论上讲,任何数据库都可以使用(身份证,Facebook个人资料),但一个包含清晰的、预先识别的照片的数据库是理想的。

好的,让我们进入细节。由于Instagram过滤器使用的“基本面部识别”是一个如此简单而无害的过程,我们将完全专注于面部识别,以及可以用来识别人脸的许多不同技术。

大多数面部识别依赖于2D图像

正如你所预料的那样,大多数面部识别软件完全依赖于2D图像。但这样做并不是因为2D面部成像超级准确,而是为了方便。绝大多数相机拍摄的照片没有任何深度,可以用于面部识别数据库的公开照片(例如,Facebook个人资料照片)都是2D的。

为什么2D面部成像不是非常准确?嗯,因为你脸部的平面图缺乏可辨认的特征,比如深度。有了平面图像,计算机就可以测量你的瞳孔距离和嘴巴宽度,以及其他变量。但是它不能告诉你鼻子的长度或额头的突出程度。

此外,2D面部成像依赖于可见光光谱。这意味着2D面部成像在黑暗中不起作用,在时髦或阴暗的照明条件下可能不可靠。

显然,绕过其中一些缺点的方法是使用3D面部成像。但这怎么可能呢?您需要特殊设备才能看到3D人脸吗?

红外摄像头为您的身份增添了深度

虽然一些面部识别应用程序只依赖2D图像,但面部识别也依赖3D成像的情况并不少见。事实上,你的面部识别经验可能涉及到少量的3D技术。

这是通过一种名为激光雷达的技术实现的,这种技术类似于声纳。从本质上说,面部扫描设备,比如你的iPhone,会向你的脸发射一个无害的IR矩阵。然后,这个矩阵(一堵墙的激光)会从你的脸上反射出来,并被手机上的红外摄像头(或ToF摄像头)捕捉到。

3D魔术发生在哪里?你手机的红外摄像头会测量每一点红外线从你脸上反弹并回到手机需要多长时间。自然,从鼻子反射的光比从耳朵反射的光行程更短,红外相机利用这一信息创建独特的面部深度图。当与基本的2D成像一起使用时,3D成像可以显著提高面部识别软件的准确性。

激光雷达成像是一个奇怪的概念,可能很难让人理解。如果有帮助,试着把你手机(或任何面部识别设备)的红外线网格想象成一个插线板玩具。就像一个针板玩具,你的脸在IR网格上留下了一个凹痕,在那里你的鼻子明显比你的眼睛深。

热成像让面部识别在夜间工作

2D人脸识别的一个缺点是依赖可见光光谱。用外行的话说,基本的面部识别在黑暗中是行不通的。但这可以通过使用热成像相机来解决(是的,就像汤姆·克兰西(Tom Clancy)中的那样)。

“等一下,”你可能会说,“热成像不是依靠红外线吗?”是的,确实如此。但是热像仪不会发出红外光,它们只是探测物体发出的红外光。热的物体发射大量的红外光,而冷的物体发射微不足道的红外光。昂贵的热成像摄像头甚至可以检测到表面上的细微温差,因此这项技术是面部识别的理想选择。

有几种不同的方法可以用热成像来识别人脸。所有这些技术都非常复杂,但它们有一些基本的相似之处,所以我们将尝试用一个列表来保持简单:

需要多张照片:一台热像仪可以拍摄受试者面部的多张照片。每张照片都聚焦于不同的红外光谱(长波、短波和中波)。通常,长波频谱提供的面部细节最多。 血管地图很有用:这些红外图像也可以用来提取一个人面部的血管形成。虽然令人毛骨悚然,但血管图可以像独特的面部指纹一样使用。它们还可以用来确定面部器官之间的距离(如果典型的热成像产生的图像质量不佳),或者用来识别瘀伤和疤痕。 可以识别对象:使用多个IR图像创建合成图像(或数据集)。然后可以将该合成图像与面部数据库进行比较以识别对象。

当然,热敏面部识别通常是军方使用的,这不是你在Khols能找到的东西,也不是你的下一部手机会附带的东西。另外,热成像在白天(或在光线一般很好的环境中)不能很好地工作,所以它在军事以外没有太多潜在的应用。

面部识别的局限性

我们花了很多时间讨论面部识别的缺点。正如我们从红外和热成像中看到的,有可能克服其中的一些限制。但仍有几个问题尚未解决:

障碍:正如你所预料的那样,太阳镜和其他配件可能会让面部识别软件失灵。 姿势:面部识别在中性、朝前的图像中效果最好。头部的倾斜或转动会使面部识别变得困难,即使是对于基于IR的识别软件也是如此。此外,微笑、鼓起脸颊或任何其他姿势都会改变电脑测量脸部的方式。 光:所有形式的面部识别都依赖于光,无论是可见光还是红外光。因此,奇怪的照明条件会降低面部识别的准确性。这种情况可能会改变,因为科学家目前正在开发基于声纳的面部识别技术。 数据库:没有一个好的数据库,面部识别就无法工作。按照同样的思路,不可能识别出过去没有被正确识别的面孔。 数据处理:根据数据库的大小和格式,计算机可能需要一段时间才能正确识别人脸。在某些情况下,比如警察,数据处理的限制限制了面部识别在日常应用中的使用(这可能是一件好事)。

到目前为止,绕过这些限制的最好方法是将其他形式的身份识别与面部识别结合使用。如果你的手机无法识别你的脸,它会要求输入密码或指纹,而中国政府正在使用身份证和跟踪技术来缩小其面部识别网络中存在的误差率。

在未来,科学家们肯定会找到绕过这些问题的方法。他们可能会在任何环境中使用声纳技术和激光雷达来创建3D人脸地图,他们可能会找到在令人难以置信的短时间内处理人脸数据(并识别陌生人)的方法。无论哪种方式,这项技术都有很大的被滥用的潜力,所以它值得跟上。

资料来源:里耶卡大学,电子前沿基金会

相关文章