quest3 透视看不清手机电脑上的文字，想到一个解决方案

[metalvest]

手机电脑通过 app 配对自动连上头显，然后把虚拟屏幕内容投到真实屏幕的原位覆盖掉摄像头中的真实屏幕，看不清屏幕问题就不存在了。

也可以换一个思路解决看不清字的问题，摄像头捕捉到文字时通过 ocr 识别出文字内容，然后把内容用矢量字体覆盖显示在文字原来所在的地方。甚至可以出一个 app ，翻完一本书自动生成一个 pdf 的电子书。

不知道技术上有没有不可逾越的难关

[metalvest]

不知道官方为什么不出一个畸变修正和摄像头分辨率增强的功能，不然透视功能真的完美了

[disorientatefree]

@metalvest 摄像头就 400 万像素，还得是实时的，没办法争强啊

至于畸变修正，已经修正过一两轮了，现在至少看手机是方的。。。

OCR 的话怎么准确附上去又不影响 UI 是个挺困难的， 个人人为最好的办法是识别到了屏幕后直接串流， 但 Meta 不掌握手机平台啊，这件事 Vision Pro 应该能做（就和已经确认的 Mac 串流一样） Android 平台的话估计得靠之后三星+Google 那台

[metalvest]

另外有购买计划的要抓紧下手了，免费送的阿斯加德之怒 2 马上 27 日就要截止领取了，领不到立亏 60 刀。顺便附上推荐链接，激活前当天点这个链接才有效，你我都可以领 30 刀用来在商店买游戏。推荐购买节奏光剑，刚好 30 刀。

https://www.meta.com/referrals/link/perfectko

[metalvest]

@disorientatefree 主要是使用透视的时候算力基本空闲，而且外部景物以静止为主，应该有足够性能做算法类似 TTA 的通过历史数据进行的增强吧

[metalvest]

@disorientatefree 手都能附上轮廓，屏幕这种简单的矩形应该更好跟踪识别吧？

[metalvest]

@metalvest 感觉直接套用屏幕空间 TAA 可能都会有不小的改善

[disorientatefree]

@metalvest 问题是现在延迟本就不理想，感觉现在图像增强不是一个优先考量啊

另外透视对 SoC 压力也不小吧，没记错的话开着透视跑分掉 30%+

等下周测一下 VP （刚查了一下几个跑分软件都没有 opt out VP ，到时候可以大概猜一下多少工作交给 R1 了）

[metalvest]

@disorientatefree 又想到一个奇思妙想，用自带线连手机，把手机 GPU 当协处理器，不过这技术难关估计光靠 meta 自己的团队搞不定

[disorientatefree]

@metalvest 都连线了那还是串流更方便呀

用外部的处理器还是绕不开延迟问题，不考虑其他问题，光是视频流传给手机 GPU 这个延迟就不能忽略了

Quest3 没公布彩透的延迟，不过高通给的数据是最快处理器层面最快 12ms （ Quest 的 LED 屏还需要一点时间），VP 是 12ms ，除开屏幕刷新率带来的延迟，透视基本只有一两毫秒的处理时间呀

[weazord]

@disorientatefree 不过个人体感 Quest3 的透视延迟至少应该是高于 30ms 的。。。

[metalvest]

@disorientatefree 现在线连手机还不能串流的吧

[disorientatefree]

@metalvest 我的意思是如果想要解决手机屏幕看不清的问题，直接串流就好啦，相对最简单

[disorientatefree]

@weazord 有人说 80ms+， 确实延迟高得肉眼可见

[darktiny]

sideload UVC APP ，买个便宜的 UVC 采集卡就解决了

[estk]

据说 Vision Pro 可以看清手机屏幕

[estk]

@disorientatefree #13
打篮球的时候感觉明显，洗碗感觉还行

[disorientatefree]

@estk

戴着 Quest3 。。。打篮球??? 在下佩服

[iloveoovx]

各位不会以为 passthrough 就只是简单的把摄像头拍下的 raw feed 直接传给屏幕吧，当然了，如果你这么以为就已经忽略了很多东西，也说明了 meta 团队的牛逼，而不是上面说的什么插手机这种分体渲染搞不定。就这么说，Vision Pro 的基本就是照着 meta 这十年来搭起来的技术框架做的，苹果拿去重新整合然后靠供应链暴力叠参数而已，基本没看到什么技术实现的新思路

passthrough 的画面，可以粗略近似理解为通过摄像头计算出整个场景的 3D 模型，然后根据你双眼位置渲染出下一帧（所以才会出现近距离会畸变的情况）。同时还要做啥？ SLAM 计算出设备本身的位置，亚毫米精度，0.25°角度内误差，MTP 延迟极低，以及手柄跟踪，加手势识别。这叠甲叠得...关键是延迟和精度要求都非常要命，还要覆盖无数的光照条件，应对各种乱七八糟的场景。Meta 做到让你都意识不到这些技术实现有多硬核复杂，让你觉得“本应如此，算力应该是空闲的吧”然后在这异想天开

所以你还想在这上面做计算机视觉的 OCR😄？

[kw8023cn]

@iloveoovx 苹果可以拿到 meta 的技术框架？他俩这一块不是竞争对手吗

[okakuyang]

@iloveoovx 你也是逆天的发想。透视根本不需要 3d 建模，也没那个算力 3d 建模了再给你映射回去。畸变矫正是广角摄像头的畸变，透视畸变，渲染畸变，镜片反射畸变。 自从 VR 透视流行起来后，看手机屏幕电脑屏幕就变成了必备的需求。avp 就能串流 mac 的屏幕，自然也能串流 iphone 的屏幕，这在以后是必然会出的。何况安卓那边更加开放，做这些东西更加有优势。 现存的唯一问题是，手机上录屏编码如果没有奇淫技巧，单纯调用系统 api 来编码发到其他设备会发热。这一点把普通开发者卡住了。