Apple近期拿下一项授权专利,旨在解决扩展现实设备传统眼动追踪系统长期存在的核心短板。
传统方案完全依靠角膜反射光斑判断用户注视落点,而这项专利创新性引入视网膜成像技术,不仅可以识别视线方向,还能精准捕捉人眼的调节对焦状态,测算双眼针对不同景深目标的聚焦距离。
二者有着本质区别:现有眼动追踪系统大多只能估算用户在画面里的二维注视位置,无法精准判定三维场景中用户真正聚焦的物体、以及对应的空间景深。
Apple这份专利通过直接拍摄视网膜影像,捕捉眼球对焦切换时产生的光学变化,补齐了这一技术短板,打造出一套同时具备视线定位+聚焦深度测算能力的新一代眼动系统。
这套眼动系统的工作逻辑为:向人眼发射探测光线,接收视网膜散射返回的光信号,通过图像传感器采集完整的视网膜画面。
Apple不再把视网膜单纯视作生物组织表面,而是将其独一无二的血管、肌理结构作为基准参照图谱,用来标定眼球对焦带来的光学变动。
系统设有专属注册建档流程:引导用户看向多个已知固定距离的目标,同时在指定视野范围内转动视线,采集多帧视网膜图像,拼接生成独属于个人的个性化视网膜基准图谱。
在头显日常运行阶段,设备会实时抓取全新的视网膜画面,和预存的个人基准图谱做比对。实时画面与建档图谱之间的差异,能够直观反映出用户切换远近目标时,眼球屈光系统发生的调节变化。
依靠稳定不变的视网膜生理结构作为参照,系统可以极高精度测量每一次对焦动作带来的光学偏移。
专利明确,眼球调节对焦会在视网膜成像中产生两类可量化特征,系统同步采集两项数据即可推算精准对焦距离:
几何缩放效应:眼球对焦状态改变时,视网膜上成像画面会遵循固定规律放大或缩小;
离焦模糊效应:视网膜上的纹理细节,会随对焦远近呈现清晰或模糊的变化。
视网膜缩放程度、画面模糊度和眼球对焦距离具备一一对应的映射关系,系统据此解算出用户当前实际聚焦的空间深度。
这标志着眼动追踪从传统二维平面落点识别,升级为能够捕捉用户视觉注意力的三维空间感知。
这份专利的一大亮点是不依赖单一测算方案,提供三套独立的视网膜离焦检测路径,硬件可以根据选型灵活适配:
对焦像素分析法:利用传感器内置对焦像素,直接从视网膜原图提取模糊程度数值;
自适应光学校准法:成像系统主动微调光学镜片、把视网膜画面校准至最清晰状态,记录镜片的移动幅度,以此反推眼球原始的对焦偏移量;
特征宽度比对法:对比建档基准图和实时画面里视网膜纹理的横向宽度,模糊会拉伸特征尺寸,依靠差值计算调节幅度。
多方案冗余设计大幅提升追踪稳定性,不同硬件架构都能实现对焦深度测算。
建档校准是整套系统的核心前置环节:设备不会只存储单张视网膜照片,而是让用户在多个固定距离下保持对焦、遍历不同视线角度,批量采集画面拼接成覆盖完整视野的高清视网膜图谱,作为用户唯一的专属档案。
建档完成后可长期重复调用,后续所有眼动追踪都会和这份高精度个人图谱比对,而非套用通用标准眼球模型。视网膜血管、肌理终身稳定不变,是长期连续追踪最可靠的生物参照基准。
专利最关键的设计之一:对焦追踪和视网膜画面采集同步实时运行,不需要中途打断沉浸画面做间断校准。用户正常和XR虚拟内容交互的全过程里,系统不间断监测视线落点与对焦状态,虚拟场景可以跟随用户远近聚焦切换即时响应,完全不破坏使用沉浸感。
这项技术核心落地场景为扩展现实头显设备。依托精准的对焦数据,系统可以锁定用户在虚拟/混合现实场景里真正关注的区域,动态调整虚拟内容的渲染逻辑,让虚拟物体的成像景深和人眼实际聚焦距离完全匹配,不再强迫眼球和屏幕渲染景深强行适配。
这套方案能够大幅缓解长时间佩戴带来的视觉疲劳,让虚拟物体在空间里更贴合现实观感。同时,连续的对焦追踪可以深度解析用户三维空间内的注意力分布,为交互逻辑、内容推送提供更精准的行为数据支撑。
该技术并非只做对焦测量,还能反向提升常规注视追踪的准确率:
如果系统检测到视线指向近处物体、同时眼球对焦距离恰好匹配该物体,就能确认用户确实在注视这个目标,大幅提升判定置信度。
不再单纯依靠眼球转动角度判断视线,对焦深度成为第二重验证依据,融合视网膜成像与视线估算,比单一追踪方案更精准还原用户真实意图。
专利同时拓展了安全认证场景:视网膜图像自带独一无二的人体解剖特征,用于对焦追踪的同一套视网膜成像硬件,可以同步完成生物识别注册与身份核验,兼容虹膜识别等主流生物认证方案。
无需额外加装独立生物识别摄像头,单套传感硬件同时承担高精度眼动追踪、账号身份验证两大功能,优化头显内部空间与硬件功耗。
该方案虽然可以适配手机、平板、电脑等手持设备,但核心设计目标直指头戴式设备。专利文档多次提及搭载光波导、红外照明、视网膜成像传感器、眼部专用追踪模组的头显产品,搭配镜片、光波导、光学合束器等显示光路结构,高度适配未来迭代的空间计算硬件。
这套架构完美适配需要持续同步采集视线、对焦数据、实时渲染沉浸画面的头戴设备。
跳出传统角膜光斑追踪路线:以个人视网膜图谱为核心,结合实时画面缩放、模糊度双重指标,实时测算对焦景深,将眼动追踪从二维点位升级为三维注意力识别;
三套独立并行的离焦测算方案:规避单一传感器缺陷,适配多样化硬件选型;
把对焦追踪深度融入渲染管线:不再只是被动观测眼球,将对焦数据实时回传给XR渲染引擎,让虚拟画面跟随人眼自然对焦动态调整。
长远来看,这份专利攻克了空间计算领域最难的痛点之一:让虚拟内容拥有接近现实物体的空间光学表现。头显不仅能知道用户看向哪里,更能读懂人眼聚焦在多远的位置,助力XR设备实现更自然的视觉观感、更长佩戴时长、更贴合人眼本能的交互反馈。
