quest3 透视看不清手机电脑上的文字,想到一个解决方案

查看 126|回复 9
作者:metalvest   
手机电脑通过 app 配对自动连上头显,然后把虚拟屏幕内容投到真实屏幕的原位覆盖掉摄像头中的真实屏幕,看不清屏幕问题就不存在了。
也可以换一个思路解决看不清字的问题,摄像头捕捉到文字时通过 ocr 识别出文字内容,然后把内容用矢量字体覆盖显示在文字原来所在的地方。甚至可以出一个 app ,翻完一本书自动生成一个 pdf 的电子书。
不知道技术上有没有不可逾越的难关

文字, 屏幕, App, quest3

metalvest
OP
  
不知道官方为什么不出一个畸变修正和摄像头分辨率增强的功能,不然透视功能真的完美了
metalvest
OP
  
@metalvest 摄像头就 400 万像素,还得是实时的,没办法争强啊

至于畸变修正,已经修正过一两轮了,现在至少看手机是方的。。。
OCR 的话怎么准确附上去又不影响 UI 是个挺困难的, 个人人为最好的办法是识别到了屏幕后直接串流, 但 Meta 不掌握手机平台啊,这件事 Vision Pro 应该能做(就和已经确认的 Mac 串流一样) Android 平台的话估计得靠之后三星+Google 那台
metalvest
OP
  
另外有购买计划的要抓紧下手了,免费送的阿斯加德之怒 2 马上 27 日就要截止领取了,领不到立亏 60 刀。顺便附上推荐链接,激活前当天点这个链接才有效,你我都可以领 30 刀用来在商店买游戏。推荐购买节奏光剑,刚好 30 刀。
https://www.meta.com/referrals/link/perfectko
metalvest
OP
  
@disorientatefree 主要是使用透视的时候算力基本空闲,而且外部景物以静止为主,应该有足够性能做算法类似 TTA 的通过历史数据进行的增强吧
metalvest
OP
  
@disorientatefree 手都能附上轮廓,屏幕这种简单的矩形应该更好跟踪识别吧?
metalvest
OP
  
@metalvest 感觉直接套用屏幕空间 TAA 可能都会有不小的改善
metalvest
OP
  
@metalvest 问题是现在延迟本就不理想,感觉现在图像增强不是一个优先考量啊
另外透视对 SoC 压力也不小吧,没记错的话开着透视跑分掉 30%+
等下周测一下 VP (刚查了一下几个跑分软件都没有 opt out VP ,到时候可以大概猜一下多少工作交给 R1 了)
metalvest
OP
  
@disorientatefree 又想到一个奇思妙想,用自带线连手机,把手机 GPU 当协处理器,不过这技术难关估计光靠 meta 自己的团队搞不定
metalvest
OP
  
@metalvest 都连线了那还是串流更方便呀
用外部的处理器还是绕不开延迟问题,不考虑其他问题,光是视频流传给手机 GPU 这个延迟就不能忽略了
Quest3 没公布彩透的延迟,不过高通给的数据是最快处理器层面最快 12ms ( Quest 的 LED 屏还需要一点时间),VP 是 12ms ,除开屏幕刷新率带来的延迟,透视基本只有一两毫秒的处理时间呀
您需要登录后才可以回帖 登录 | 立即注册

返回顶部