"Foveated" 显示屏如何提高 Apple Vision Pro 头显的刷新率？

苹果公司提出，通过使用 "foveated display" 来优化渲染，使其只聚焦于用户主动注视的地方，苹果 Vision Pro 及更高版本的头显可以提供高刷新率的屏幕。

Vision Pro 等虚拟现实或增强现实头显的关键要素之一是使用高刷新率的显示屏。更新速度更快、对用户动作响应更快的屏幕可以最大限度地减少因屏幕更新与动作不匹配而产生的潜在恶心感，并进一步增强虚拟环境或数字对象置身于世界中的错觉。

推动头显技术发展的一个问题是，人们期望使用更高分辨率的屏幕。在显示屏上增加更多像素，就意味着每次刷新需要更新的元素更多，主机设备在渲染场景时需要创建的数据也更多。

在一项新获得的专利中，"Foveated Display" 的申请旨在通过为显示器提供两种不同的数据流（包括高分辨率和低分辨率图像）来解决这些问题。

有凹槽显示屏的核心理念是，屏幕不必在整个屏幕上使用高分辨率图像，只需显示用户正在观看的内容。如果可以确定位置，显示屏就有可能在用户的直视范围内显示资源繁重的高分辨率图像，然后在屏幕的其余部分使用轻量级的低分辨率数据。

由于显示屏的其他部分将利用用户不需要细节的周边视觉，这可以大大减少每次需要刷新显示屏时需要完成的工作量。

在苹果公司的解决方案中，目光跟踪系统被用来找出用户的目光在屏幕上的焦点。了解这一数据后，图形处理单元就会为用户注视的部分场景渲染高分辨率图像，并为其余部分渲染低分辨率图像。

利用定时控制器电路和列驱动电路，前者可向后者提供图像数据，后者则可对显示屏进行更改。该电路还可用于在两个缓冲器之间切换，分别提供高分辨率数据和低分辨率数据，并分别用于各自的显示区域。

插值和滤波电路可用于在应用前改变像素数据，例如在低分辨率数据与高分辨率数据同时使用的区域，以消除任何明显的接缝。二维空间滤波器也可应用于低分辨率数据缓冲区。

虽然现在才获得授权，但早在 Vision Pro 发布之前，苹果公司就于 2021 年 1 月 15 日提交了该专利的申请。该申请的不同之处在于，文件中专门谈到了头显，而不是隐藏在人们视线中的数百项 Vision Pro 专利申请中的一项。

最新发现的相关早期申请包括之前的 "预测性、有凹凸感的虚拟现实系统"，该系统使用了类似的不同分辨率视频馈送和选择性渲染方法，以最大限度地减少对用户的延迟。苹果公司还探索了多种眼球跟踪系统，包括一些使用 "热镜" 的系统，它允许组件靠近用户的脸部，而不是离得更远，从而使耳机在长时间佩戴时更加舒适。