▲加入后置3D 感测系统可让AR 功能更为强大,例如使AR 虚拟形象与真实环境中的物体,进行更多地交互。
iPhone X 的前置TrueDepth 感测系统让手机可实现脸部解锁,还实现对面部表情的即时跟踪和识别,生成Animojis。但显然,这只是苹果的第一步。如果把苹果手机后置镜头也加入3D 感测系统,又会产生什么样的效果呢?
升级iOS 11 系统后,苹果手机可下载AR 应用,这主要通过苹果后置单目镜头实现。如果加入后置3D 感测系统可让AR 功能更为强大,例如使AR 虚拟形象与真实环境中的物体,进行更多地交互。3D 感测系统可检测深度资讯,构建三维地图,而现在,苹果AR 应用只能检测到一个平面。同样的,后置3D 感测系统还能为AR 眼镜奠定技术基础。
不过,有意思的是,根据彭博社报导,苹果正在研发后置3D 感测系统采用的技术路径,跟前置的TrueDepth 系统并不一样。
TrueDepth 采用结构光技术,将30000 个镭射点图案投射到使用者的脸上,并测量失真以生成用于认证的精确3D 图像。这种技术原本由以色列公司PrimeSense 研发,后在2013 年被苹果收购。PrimeSense 曾基于结构光技术为微软研发Kinect 感测系统。
但据了解,苹果正在研发的3D 后置感测系统将使用飞行时间法3D 成像(Time of Flight,ToF),这种方法更难以实现。其主要是通过镭射扫面物体表面,感测系统会测量镭射到达物体和返回的时间。
在上述图中,我们能看到,ToF 关键是感测器要测量物体的距离。ToF 多被应用到LIDAR (雷达)中,其主要的不足在于,它每次只能测量镭射到达一个特定点的距离。所以,大部分雷达系统采用机械扫描装置。雷达系统目前多被用于赢咖4注册领域。但体型通常较大,会被放置在汽车的顶部。
显而易见,这对手机并不适用。目前还有一种新型的雷达称之为Flash LIDAR。它使用特殊的摄影机,可测量对每个图元实现飞行时间测量。但Flash LIDAR 还在研发中,同时也遇到了一些挑战。因为每个图元需得到自己的飞行时间测量,其中包括触发电路、脉冲检测电路。这便与TrueDepth 产生一定的冲突。
尽管Flash LIDAR 的问题在逐步解决,但如感测器的解析度可能相当低,接近于VGA 解析度。
另外的问题是,提供适当的脉冲镭射照明。光以每纳秒约一英尺的速度传播,而多数LIDAR 和Flash LIDAR 系统光脉冲时间非常短,只有1~2 纳秒。所以,在一定的时间内,生成足够密度的光脉冲,被Flash LIDAR 检测到,也具有一定的挑战。
苹果已经确定在研发ToF,但是否最终会用到手机上,还不一定。结构光非常适合用于房间大小的空间内,这也是为什么Kinect 和HoloLens 也会使用结构光的方案。
对比两种方案的话,ToF 的精准度和稳定性较好,但结构光可以做的更小、功耗也小,解析度相对高。觉得,苹果也许在尝试不同的解决方案,融入到手机中必定有很大的挑战,我们期待后置3D 感测器能让AR 功能更强大。