求推荐一个适合做科研的智能 MR 头戴设备

[dufldylan1]

楼主在读博士，主要研究方向：

• 立体视觉、三维重建
• 图像处理
• 计算物理

因此想找个智能 MR 头戴设备用来做研究，水 paper

主要要求：

• 至少两个摄像头
• 能实时访问摄像头的图像数据
• 受限于计算算力，应该能实时传回计算机进行计算，再传回数据
• 能叠加显示图层（这个应该好办）
• 能简单地通过该设备交互、控制一些东西，作为计算参数

实验室手头有 quest2 ，很早之前买的，因为摄像头是黑白的很难达到要求。另外 quest 不直接开放 raw image 的权限给开发者。

看了一圈的 mr 头戴设备，包括 vp pico 等等之类的，都不给摄像头权限？据说 pico 弄什么企业授权可以用还是咋，但是还没深入搞。

不知道各位老哥有什么建议。很纠结，希望各位老哥能指点一下

[okakuyang]

苹果 vision pro 可以拿到摄像头

[dufldylan1]

@okakuyang 适合搞这种科研研究吗？个人对苹果的感受就是，，不适合搞研究，适合用成熟的技术搞开发。一旦搞研究了总会碰到大大小小的苹果不给权限的东西

[winzkh]

hololens2 ，但好像停产了，系统维护不知道还有没有

[dufldylan1]

@winzkh hololens2 是单目 rgb+深度传感器吧？

[okakuyang]

@dufldylan1 那得看你都需要哪些权限了，如果你能让实验室买个 vision pro ，那你大概也能无痛弄个开发者账号。起码作为开发者的权限你都是有的。

[pigdragon]

找人设计个电路,把那个摄像头的连接器接在转接板上,信号一分为二,一个采集了给电脑,一个给 quest2,quest2 控制,你电脑里读取计算,quest2 中的应用能自己开发么?通过网络读取你处理好的数据,综合显示

[dufldylan1]

@pigdragon 感觉这样 叠加显示的图层就不太好办了？毕竟 quest 里的图片坐标和额外的摄像头坐标不一样了

[okakuyang]

vp 可以获取到两个主摄像头的流，左右，无 UI 。
实时录屏，用户视点，有 UI ，
至于自己图像识别到东西怎么映射回去没看，不过看官方的介绍应该也是能做的。
vp 就是台电脑，数据用 wifi 传出去传进来是没问题的。但是它的 wifi 速率最好也要考虑在内，因为这设备毕竟是个 90 帧的设备。

[dufldylan1]

@okakuyang 多谢老哥，我再调研一下

[dufldylan1]

@okakuyang 老哥了解 openxr 吗？现在我们三维重建渲染引擎是基于 openxr 开发的。然后显然 visionpro 不支持 openxr 。最近了解到 ALVR 这个项目能将 steamvr 串流到 visionpro ，steamvr 是支持 openxr 的。不知道这样一搞是否意味着我的 openxr 后端也能在 visionpro 上跑了
https://github.com/alvr-org/alvr-visionos

[okakuyang]

@dufldylan1 大概率是可以的，把 vp 当个串流显示器罢了。vp 现在所有渲染只能用苹果自家的，如果是串流 steam VR 大概就是把贴图渲染到半球体上吧。这样你只能固定在座位上摆头，能不能走动不知道。

[dufldylan1]

@okakuyang 啊是吗。。反正虽然我个人设备都是用的 apple 。。但是我对在 apple 上做科研还是比较抗拒的（笑哭😭

[dufldylan1]

昨晚发现个项目可以拿到 camera 的数据，支持 pico enterprise 和 vision pro
https://github.com/styly-dev/EnterpriseCameraAccessPlugin
鉴于价格和个人偏见（= =）还是报备了一个 pico 4 ultra enterprise 。各位回头见

[dufldylan1]

更新一下，据内部朋友帮我打听，pico 这个 camera 权限很难拿到，需要有一定量的采购才可能授权。即使是高校研究也是如此。

商业公司的嘴脸