论文部分内容阅读
在2020年秋季新品发布会上，苹果带来了包含4款机型的iPhone 12系列，定价更高的iPhone 12 Pro/12 ProMax上除了多一枚长焦镜头外，还加入了LiDAR激光雷达扫描仪，用以提供更强的对焦和AR能力。从技术原理来看，LiDAR和Android手机上早已应用的ToF镜头类似，都是通过测量光线的飞行时间来测量距离。苹果为何要将其特别命名，与ToF划清界限呢？我们一起来了解它们之间的区别。
什么是ToF？
ToF是Time of flight的简写，即飞行时间的意思。在实际应用中，ToF技术从发射端发射光信号，通过测量光信号飞行到物体的时间来测量物体的距离，进而知道画面里每一个物体的距离。飞行时间又分为直接飞行时间（dToF）和间接飞行时间（iToF）：前者向目标发射一个激光脉冲信号，直接测量光子从出发到返回的用时;后者发射一连串经过正弦调制的光波，通过检测来回光波间的相位差测量飞行时间。虽然两者的原理相同，但iToF发射的光波具有呈现规律变换的明暗强度，接收端的传感器捕捉到光强度特征后，还需要对比发射光和反射光的信号差异，才能间接计算出这中间经过了多长时间，从而再乘以光速，得出相对距离。相比之下，dToF发射的激光脉冲信号波长短、频率高，像是“直来直去”的光束，可以直接计算获得距离数据。
在稳定性和精度方面，dToF也表现出更多的优势。掌握一定物理知识的用户都知道，正弦光波具有周期性，相差波长整数倍的距离反射回来的信號特征完全一样，容易出现误差。而高频的激光束不存在这方面的短板，同时也带来了出色的抗干扰性，测距距离达到5m-200m，可以得到分辨率更高的图像，精度可达厘米甚至毫米级别。
当然，技术落地还需要考虑到成本因素。iToF技术不需要特殊的高速传感器，甚至可以用普通的小尺寸CMOS作为接收端，可以轻松实现小型和廉价化的设计;dToF技术的接收端必须使用精度非常高的特殊传感器，成本难以降低，小型化也比较困难。
在数码领域，大多数搭载ToF镜头的手机使用的是iToF技术，而苹果的iPad Pro和iPhone 12系列使用的则是基于dToF技术的LiDAR激光雷达扫描仪。因为苹果，LiDAR-词才被大家熟知，认为这是一个新事物，但在其他行业中它早已被广泛应用。这几年新款的中高端车型以及无人驾驶汽车中普遍搭载了LiDAR传感器，作为普通雷达的升级，或是与毫米波雷达、摄像头等其他设备仪一起确定前方车辆、障碍物的位置和距离，帮助无人驾驶系统规避驾驶危险。除了无人驾驶汽车之外，LiDAR还被用在探索宇宙等科研方面，1971年的阿波罗15号飞船就搭载了LiDAR高度计用于绘制月球表面图像。到了现在，LiDAR的运用范围越来越广泛，涵盖了测距、测绘建模、探测雾霾等方面。
从3D结构光ILiDAR
在看到LiDAR通过投射矩阵光束捕捉位置深度图时，我们不免想到了Face ID所采用的3D结构光技术。在红外摄像机的镜头下，Face ID的3D结构光传感器通过点阵投影发射出超过3万个不可见的光斑，利用扭曲建模制作出一张准确的面部深度图，从而将2D的图像转换为带有深度信息的3D图像。相比LiDAR.3D结构光的点阵更加密集、细小，但有一定的距离限制;而LiDAR投射的点阵大且疏，更适合用来对整个房间进行扫描和建模。
针对面部识别解锁，Android机型往往通过前置摄像头对用户面部进行2D扫描，苹果的Face ID则是它们的进阶应用，通过3D建模获取用户面部信息后，不仅能够有效地提升面部识别的安全性和解锁率，还可以创建生动的Memoji表情。为iPhone加入LiDAR，当然也不是仅仅用于测量位置深度这么简单，它能做的远远更多。
强化拍摄能力
过去的两年里，不少智能手机厂商都对iToF技术进行了探索，并推出了面向不同应用的机型。2018年10月，OPPO推出的R17 Pro就搭载了iToF镜头，能够实现三维建模、测距、AR尺子等功能;同年12月，荣耀发布的V20也搭载了iToF镜头模组，加入3D Qmoji、AR合影、趣味变妆等功能。2020年，三星Galaxy S20 Ultra、索尼Xepria1Ⅱ等旗舰机型将iToF传感器用在对物测距、辅助对焦等拍摄功能上，进一步拓宽了iToF技术的应用面。
在这些功能上，成本更低的iToF技术足以满足普通用户近距离使用的需求，但在更高要求下多少有些不足。譬如在大家常用的人像虚化拍摄中，面对复杂背景和人物头发分离处理时，即便有iToF镜头辅助也难以避免算法误判的问题，拍摄主体边缘常常出现不自然的模糊效果。面对复杂、棘手的应用场景，dToF技术的加入才能带来更精准的深度信息，以便于AI算法理解物体之间的前后关系，绘制出一张空间位图，并将照片中的景物按照距离进行不同程度的模糊处理。在更高精度的需求下，苹果将dToF技术引入数码产品的影像系统，先后在iPad Pro和iPhone 12系列上搭载了LiDAR激光雷达扫描仪。使用时，LiDAR发射器会投射出9x64大小的矩阵光束，捕捉并绘制最远5米范围内的位置深度图。如此一来，过去需要借助大光圈镜头才能拍摄的景深照片，完全可以通过算法处理来实现。此外，激光雷达扫描仪还可以在低光照条件下提升摄像头的对焦速度，在黑暗中准确找到画面中的人物，为夜间模式下的人像照片打下基础。
为AR布局
除了拍摄领域，LiDAR激光雷达扫描仪更大的作用是提升了AR应用的真实性。2017年开始，苹果推出AR软件开发套件ARKit，开发者们可以使用它制作出精致的AR应用，但由于没有深度信息的辅助，AR应用无法很好地判断3D模型和真实世界的空间关系。加入LiDAR激光雷达扫描仪之后，iPhone可以通过测量出真实场景的深度数据，将游戏里的3D模型附着在地面、桌面等平面上，合理地处理两者的空间位置关系并动态调节模型的光照和阴影，使游戏体验更加真实。
此外，LiDAR还可以用于更多领域。用于医学的Complete Anatomy App就展示了激光雷达扫描仪的使用场景，通过iPhone 12 Pro/iPad Pro， Complete Anatomy能够从三维角度观察运动，使用运动捕捉来识别一个人正在做的运动，然后将动作与三维肌肉动画相结合，并且提供执行动作所需的主要肌肉的信息，以此来判断肌肉运动状态。此外，苹果官方还展示了AR家庭装修、AR游戏、AR测量等应用，由此可见AR在各行各业的应用前景是非常广泛的。
什么是ToF？
ToF是Time of flight的简写，即飞行时间的意思。在实际应用中，ToF技术从发射端发射光信号，通过测量光信号飞行到物体的时间来测量物体的距离，进而知道画面里每一个物体的距离。飞行时间又分为直接飞行时间（dToF）和间接飞行时间（iToF）：前者向目标发射一个激光脉冲信号，直接测量光子从出发到返回的用时;后者发射一连串经过正弦调制的光波，通过检测来回光波间的相位差测量飞行时间。虽然两者的原理相同，但iToF发射的光波具有呈现规律变换的明暗强度，接收端的传感器捕捉到光强度特征后，还需要对比发射光和反射光的信号差异，才能间接计算出这中间经过了多长时间，从而再乘以光速，得出相对距离。相比之下，dToF发射的激光脉冲信号波长短、频率高，像是“直来直去”的光束，可以直接计算获得距离数据。
在稳定性和精度方面，dToF也表现出更多的优势。掌握一定物理知识的用户都知道，正弦光波具有周期性，相差波长整数倍的距离反射回来的信號特征完全一样，容易出现误差。而高频的激光束不存在这方面的短板，同时也带来了出色的抗干扰性，测距距离达到5m-200m，可以得到分辨率更高的图像，精度可达厘米甚至毫米级别。
当然，技术落地还需要考虑到成本因素。iToF技术不需要特殊的高速传感器，甚至可以用普通的小尺寸CMOS作为接收端，可以轻松实现小型和廉价化的设计;dToF技术的接收端必须使用精度非常高的特殊传感器，成本难以降低，小型化也比较困难。
在数码领域，大多数搭载ToF镜头的手机使用的是iToF技术，而苹果的iPad Pro和iPhone 12系列使用的则是基于dToF技术的LiDAR激光雷达扫描仪。因为苹果，LiDAR-词才被大家熟知，认为这是一个新事物，但在其他行业中它早已被广泛应用。这几年新款的中高端车型以及无人驾驶汽车中普遍搭载了LiDAR传感器，作为普通雷达的升级，或是与毫米波雷达、摄像头等其他设备仪一起确定前方车辆、障碍物的位置和距离，帮助无人驾驶系统规避驾驶危险。除了无人驾驶汽车之外，LiDAR还被用在探索宇宙等科研方面，1971年的阿波罗15号飞船就搭载了LiDAR高度计用于绘制月球表面图像。到了现在，LiDAR的运用范围越来越广泛，涵盖了测距、测绘建模、探测雾霾等方面。
从3D结构光ILiDAR
在看到LiDAR通过投射矩阵光束捕捉位置深度图时，我们不免想到了Face ID所采用的3D结构光技术。在红外摄像机的镜头下，Face ID的3D结构光传感器通过点阵投影发射出超过3万个不可见的光斑，利用扭曲建模制作出一张准确的面部深度图，从而将2D的图像转换为带有深度信息的3D图像。相比LiDAR.3D结构光的点阵更加密集、细小，但有一定的距离限制;而LiDAR投射的点阵大且疏，更适合用来对整个房间进行扫描和建模。
针对面部识别解锁，Android机型往往通过前置摄像头对用户面部进行2D扫描，苹果的Face ID则是它们的进阶应用，通过3D建模获取用户面部信息后，不仅能够有效地提升面部识别的安全性和解锁率，还可以创建生动的Memoji表情。为iPhone加入LiDAR，当然也不是仅仅用于测量位置深度这么简单，它能做的远远更多。
强化拍摄能力
过去的两年里，不少智能手机厂商都对iToF技术进行了探索，并推出了面向不同应用的机型。2018年10月，OPPO推出的R17 Pro就搭载了iToF镜头，能够实现三维建模、测距、AR尺子等功能;同年12月，荣耀发布的V20也搭载了iToF镜头模组，加入3D Qmoji、AR合影、趣味变妆等功能。2020年，三星Galaxy S20 Ultra、索尼Xepria1Ⅱ等旗舰机型将iToF传感器用在对物测距、辅助对焦等拍摄功能上，进一步拓宽了iToF技术的应用面。
在这些功能上，成本更低的iToF技术足以满足普通用户近距离使用的需求，但在更高要求下多少有些不足。譬如在大家常用的人像虚化拍摄中，面对复杂背景和人物头发分离处理时，即便有iToF镜头辅助也难以避免算法误判的问题，拍摄主体边缘常常出现不自然的模糊效果。面对复杂、棘手的应用场景，dToF技术的加入才能带来更精准的深度信息，以便于AI算法理解物体之间的前后关系，绘制出一张空间位图，并将照片中的景物按照距离进行不同程度的模糊处理。在更高精度的需求下，苹果将dToF技术引入数码产品的影像系统，先后在iPad Pro和iPhone 12系列上搭载了LiDAR激光雷达扫描仪。使用时，LiDAR发射器会投射出9x64大小的矩阵光束，捕捉并绘制最远5米范围内的位置深度图。如此一来，过去需要借助大光圈镜头才能拍摄的景深照片，完全可以通过算法处理来实现。此外，激光雷达扫描仪还可以在低光照条件下提升摄像头的对焦速度，在黑暗中准确找到画面中的人物，为夜间模式下的人像照片打下基础。
为AR布局
除了拍摄领域，LiDAR激光雷达扫描仪更大的作用是提升了AR应用的真实性。2017年开始，苹果推出AR软件开发套件ARKit，开发者们可以使用它制作出精致的AR应用，但由于没有深度信息的辅助，AR应用无法很好地判断3D模型和真实世界的空间关系。加入LiDAR激光雷达扫描仪之后，iPhone可以通过测量出真实场景的深度数据，将游戏里的3D模型附着在地面、桌面等平面上，合理地处理两者的空间位置关系并动态调节模型的光照和阴影，使游戏体验更加真实。
此外，LiDAR还可以用于更多领域。用于医学的Complete Anatomy App就展示了激光雷达扫描仪的使用场景，通过iPhone 12 Pro/iPad Pro， Complete Anatomy能够从三维角度观察运动，使用运动捕捉来识别一个人正在做的运动，然后将动作与三维肌肉动画相结合，并且提供执行动作所需的主要肌肉的信息，以此来判断肌肉运动状态。此外，苹果官方还展示了AR家庭装修、AR游戏、AR测量等应用，由此可见AR在各行各业的应用前景是非常广泛的。