苹果的眼睛是如何做到高精度眼球追踪的?

查看 77|回复 6
作者:touchmii   
根据体验过的博主描述可以实现网页单个字母级别的定位,探讨一下两种情况的原理,首先就是眼镜相对于头部的位移,首先投影出来的画面会随着头部移动带动眼镜移动会实时计算画面,给你的感觉就是画面中的物体并没有移动,如果此时认为移动眼睛,画面中的物体还会保持视觉上的静止吗,从反馈来看是有扫描头部模型的,理论上来说需要实时追逐眼镜和头部轮廓之间的位移来纠正这个误差,这种人为调节眼镜位置的情况应该不多,不知道苹果有没有做相应的措施。
接下来的一个问题就是,戴着眼镜头部旋转时眼球的定位精度还可以达到那么高吗,如果只是检测眼球下 8 按对于眼眶也就是头部的位移,这个精度并不是多难的事情,黑白双相机就能纠正眼球弧度的误差,但是比较麻烦的地方在于,此时眼镜和头部还是可以转动的,也就是说即便此时眼球保持不动,仅旋转头部,还可以保证高精度的追踪吗,这样需要计算的就是眼镜相对于空间的位置,仅依靠陀螺仪判断头部的位移肯定是不准的,我的猜测就是苹果的眼镜依靠前部三维摄像头完成眼镜和室内空间位移的计算,那么这套设备的应用场景肯定是不能在太过开阔且确实参照物的地方使用,比如广场,或者菜市场这类障碍物多且不固定的地方,它必然会影响判断环境跟眼镜的位移,不过目前苹果安排的独立房间还有坐在沙发上面体验应该是存在一定的局限性的。
我没有研究其他 vr ar mr 设备的具体技术细节,但接触过 slam ,要在 vr 中达到高精度的眼部追逐,眼球相对于头部的位置,眼镜相对于头部的位置,眼镜相对于空间的位置这三个位置的识别一个都不能掉链子,第三个最难实现,因为空间跟眼镜的距离较大不确定因素也比较多,前两个都是两个固定的物体做对比。具体要达到单字母的定位要求这这个位置的误差必须低于多少请懂行的大神指教一下,我预感这个眼镜应该会在美国那种大平方极简风的卧室客厅表现比较好,小房间堆满乱七八糟的物品,有高反光的材质的空间精度必然会下降。猜测如果用手盖住前方所以摄像头传感器就会出现上述情况,如果有人能验证一下就好了。
经过苹果的这个发布会我感觉传统 vr 要解决眩晕问题还是可以从苹果这里学到经验,即便只是一个头显,就算没有眼部追踪,剩下两个坐标的计算还是不可或缺,他关系到头部移动时投影的准确性,在现实世界中我们看不同距离转动头部或者位移是画面在脑海中不仅仅是接受眼球的视觉信息,还会有一个预判,只要在 VR 中的画面跟经验中不相符立马就能察觉到异样,我玩那种逼真 3a 游戏时一下子就头晕,那个画面非常真实但是视觉非常不符合直觉,如果是漫画风的三维游戏就好很多。

眼镜, 头部, 位移, 精度

ChongKit   
2017 年 iphonex 刚发布的时候,就有一个 app 可以追踪你的眼球定位,那个 app 很神奇,它将你看到的方位变成一个线条,清晰的标注出来,后来这个 app 被苹果下架了。
也就是说,在 2017 年只有 faceid 的时候,苹果就能知道你的眼球在注视屏幕什么位置了,并且精度极高。
luhe   
环境是拍了渲染出来的吧,而且可以调整沉浸度或者换预设的环境,那感觉定位网页内容跟真实环境没关系啊
LZSZ   
单个字母也没说多大字体啊,应该不是咱们现在看显示器这么小的字体吧。
touchmii
OP
  
@LZSZ 浏览器网友的单个字母定位,反正跟现有 vr 定位比起来是质的提升
touchmii
OP
  
@ChongKit 没有印象,反正要实现苹果这样的精度商业上肯定就高成本的方案,消费级市场还没出现。
easylee   
十多年前设想过这个交互方案,以及手势控制。
没想到苹果将这个交互搬到普通消费级产品了,大喜。
关于手势控制倒是之前调研其投资公司的时候有关注过,有比较成熟的方案。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部