苹果的增强现实计划可能涉及创建用户手指的3D模型以与虚拟触摸屏进行交互，而红外光学标记的使用可能使AR系统更容易调整在iPhone或iPad屏幕上看到的内容。

苹果被认为正在开发某种虚拟现实或增强现实硬件，并且也被认为正在开发Apple Glass AR智能眼镜。尽管这些产品尚未发布，但苹果在该领域进行了广泛的研究和开发奠定了基础。

但是，尽管AR已经存在了一段时间，但在成为主流技术之前，仍然需要解决许多问题。

在周二专利商标局授予苹果的一对专利中，苹果试图在两个方面改善AR。

设备标记

AR可以提供好处的一种方式是向用户显示他们视野内几乎任何地方的虚拟显示器。这样的虚拟显示器可以轻松地叠加在墙壁或物理物品上，甚至可以悬挂在空中。

AR耳机的使用可能会给希望能够同时使用其智能手机和平板电脑的用户造成问题，因为无法保证显示器实际上可以从耳机内看到。

AR头戴式耳机还可能利用移动设备的存在作为用户的交互方法，从而有可能用不同的图形或更容易看到的版本替换设备显示屏上的内容。甚至可以在完全关闭设备屏幕的情况下，在AR头戴式耳机内完全看到显示器，同时保持触摸功能和其他功能不变。

苹果公司认为，在名为“带有光学标记的电子设备”的专利中，它可以使AR系统更容易检测到附近有智能手机，从而可以改善智能手机和AR头戴式耳机之间的互操作性。在该专利中，这仅涉及添加耳机可以使用的视觉标记。

人眼看不见的标记可以告诉AR系统它是什么类型的设备，以及它的方向。

这个想法是在设备外部贴有一些标记，AR头戴式耳机上的相机和其他传感器可以读取这些标记。通过查看标记，这可以使AR系统确定设备的种类，设备的方向，显示器的位置以及其他因素。

这些标记可以提供定位数据，以及其他信息(例如唯一标识符)，并通过二维条形码(例如QR码)提供。该唯一标识符甚至可以是带有“光谱反射率代码”的标记的使用。

尽管标记对于用户来说是可见的，但苹果公司建议这些标记实际上对用户完全不可见。可能是由聚合物层中的光致发光粒子形成的，也可能是由使用透明球体的回射层形成的，只有通过红外光才能使标记可见。

该专利将其发明人列为Christopher D. Prest，Marta M. Giachino，Matthew S. Rogers和Que Anh S. Nguyen。它最初于2018年9月27日提交。

3D手指建模

在大多数情况下，AR系统将屏幕显示在任何表面上的功能可能会很有用，但不一定需要进行交互。AR系统可能打算将虚拟显示器应用于墙壁以用作触摸屏，但是由于墙壁上没有传感器来检测触摸，因此它无法检测到触摸。

使用手套或其他输入机制检测墙壁上的虚拟显示器的触摸是可行的，但是在没有手套的情况下这样做是一个更棘手的问题。

名为“为可视触摸检测生成指尖的3D模型”的第二项专利试图解决此问题。

顾名思义，该专利围绕创建用户指尖，手指或手的3D模型的系统展开。一旦生成了模型，即可通过分析成像传感器数据的系统检查模型，以检测虚拟显示器的有意触摸。

认为可以通过在用户的手触摸实际的触敏表面时监视其手来生成模型。使用多个相机或成像传感器，可以在触摸物体时从多个角度捕获手指或手。

该视觉数据可以用于在触摸事件的点处形成手指的3D模型。触摸敏感表面的后续触摸可能导致生成更多图像，从而可以进一步完善3D模型。

生成模型后，系统便可以使用数据来检测用户的手指或手，包括实例与非触摸感应但用于AR用途的物理表面进行交互的实例。

该专利是由Rohit Sethi和Wang Lejing Wang发明的，并于2019年9月24日提交了专利。

这不是Apple首次尝试解决触摸检测问题。

2020年7月，一项专利申请浮出水面，提出使用热成像技术来检测设备上用户触摸的位置。来自用户手指的少量热量传递可能会被传感器吸收，进而用于准确检测用户触摸的表面上的位置。

其他想法主要围绕手套和控制器，包括自2016年3月以来的一种想法，其中手持控制器的元件延伸到手指上方，以检测手指的运动，即使用户触摸表面也是如此。