从手机到全景直播，PICO画出混合现实录制的两条技术延长线

 

每次在网上分享关于VR相关内容时，很多评论都会指向一个方向：“VR到底有什么用？”同时我们也能注意到，很多使用过VR/AR设备的人又会给出相反的回答：“这玩意儿真的是太爽了！”从我的使用感受来看，这类产品最大的优势就是能提供无与伦比的沉浸式视觉使用体验，在“独乐乐”方面是极佳的方案。

都说“独乐乐”不如“众乐乐”，目前大多数的VR/AR沉浸式体验很难让身边的人有着同样身临其境的体验。从沉浸式体验，到与周围人分享甚至到UGC内容创作，未来还将有很大的想象空间和机遇，而打开这扇门的钥匙则是混合现实录制（MRC），它已经成为当下为这个行业极为看重工具，甚至被视为打开这个行业发展新空间的钥匙。

注：MRC，Mixed Reality Capture，混合现实录制。

 

01

欲跃龙门的VR产业

2019年，那个时候Meta还叫Facebook，其CEO马克·扎克伯格认为，1000万用户是VR业务可持续、可盈利的门槛，一旦超过这个阈值，内容与生态系统就会出现爆炸性的增长。IDC的数据显示，2021年全年，全球AR/VR头显设备的出货量达到1123万台，同比增长92.1%，其中VR头显的出货量达到了1095万台，突破了1000万的拐点，而且这个趋势还在加快，如这一市场占有率第一的Oculus Quest2，去年全年出货量突破1000万台，今年上半年就卖出了590万台。

同一时期，中国VR市场出货量为138万台，在上半年，并入字节跳动时间不长的PICO继续强势，市场份额突破了50%，且在今年前两个季度，PICO以11%的市占率，占据全球VR/AR市场第二名（Counterpoint Research数据）。IDC还预测，未来数年，中国AR/VR头显设备将保持高增长态势：未来五年，中国VR市场的年复合增长率将达到43.8%，到2025年有望突破千万级规模，预计达到1162万台，所以，我们可以看到除了PICO之外，还有联想、华为、OPPO等各领域的厂商都在发力这块市场。

除了从业者的努力之外，国家的政策制定也指向了该产业的发展方向。11月12日，“2022世界VR产业大会”期间，《虚拟现实与行业应用融合发展行动计划（2022—2026年）》政策宣贯会在南昌召开，该计划由工业和信息化部、教育部、文化和旅游部、国家广播电视总局、国家体育总局五部门联合印发，目标是到2026年中国虚拟现实产业总体规模（含相关硬件、软件、应用等）超过3500亿元，虚拟现实终端销量超过2500万台，培育100家具有较强创新能力和行业影响力的骨干企业，同时国家虚拟现实创新中心落地江西南昌。

在这届大会上，“2022中国VR 50强企业”名单第四次公布，年销售额为1亿元~10亿元的企业数量，从2019年的7家扩展到今年的22家，入选企业中，从属于教育培训、文化旅游、工业生产的内容企业比较突出，这也显示出VR内容当前还是以行业向为主，这类应用向普通消费者推广依旧存在难度。

我最早从HTC VIVE开始接触VR，那个时候VR头显的使用门槛并不低，要求性能强悍的PC主机和单独的开阔空间才能正常使用。不过随着高通XR系列处理器的亮相，可以完全脱离主机和线缆桎梏的Stand Alone方案给VR头显发展带来了新机遇，这也是Oculus Quest2、PICO Neo3等采用此方案的主机更受消费者欢迎的主要原因之一，它们的价格也只有最初那些产品的一半甚至三分之一。

同时，透镜更轻薄，分辨率更高的显示方案、更长的续航、更丰富传感器等硬件产业链的进步，也在推高VR设备的体验，特别是解决了镜片加装方案之后，更是深得我等眼镜人士的欢迎。在商业模式方面，国内呈现出“健身+视频+娱乐”为主的内容生态趋势，并有意逐步向社交和办公延伸，比国外目前相对成熟的“游戏+视频”为主的模式更丰富多元。

从这些内容生态模式中，我们不难发现一个难题放在VR产业面前：在最能吸引人气的游戏主播或可以通过社交平台进行分享的场合，对VR产品在普通消费者中推广甚为重要，特别是喜欢游戏的年轻人群。但此时，VR过于强调个人沉浸式的体验优势却在这里变成了劣势，无论是游戏主播还是用户，都很难通过适合的方式生成作品。

于是，MRC工具应运而生。它是专用供上述用户进行VR内容录制的工具软件，最主要的作用就是将用户在真实世界里的动作捕捉，再混流进VR虚拟场景中，合成可以向其他人展示使用体验的混合现实视频。而过去VR内容生产者能提供的，更多只是VR环境录屏或是以画中画的形式分别展示，这极大限制了VR内容向第三方用户传播时的灵活性和内容创作者的热情。

MRC的行业地位值得如此拔高么？Oculus曾与MR工作室Scout House合作进行过一个消费者测试调研，他们用MRC为工作室旗下的《OhShape》《Holopoint》两款应用分别制作宣传视频，内容相同，区别是MRC版在游戏中叠加了真人画面，然后各让50%的Quest用户在Oculus商店观看两种形式制作的宣传片。

结果显示，MRC视频的转化率远超第一人称视频：在观看《OhShape》MRC宣传片的用户，购买意愿相较另一组提升30%；观看《Holopoint》MRC宣传片的Quest用户，购买意愿提升25%，即MRC宣传片更容易让观看者产生参与感和代入感，这对于提升VR设备和软件的消费至关重要，这也成为越来越多行业厂商布局MRC工具的原因。

 

02

简单易用，MRC的突破点

既然MRC工具有这么多好处，为什么我们并没有看到很多人使用它创作内容并分享出来呢？比较高的使用门槛是很多MRC工具无法回避的问题。以目前使用率较高的LIV为例，作为PC端的MRC工具，其算力充足，稳定性高，但其用户反馈使用成本很高，除了要准备PC、绿幕、摄像头等设备外，还需要在Steam平台上进行复杂的软件配置，这对于长期使用MRC拍摄的达人来讲可以接受，但是对于以分享简单体验，要求简单快捷的普通用户来说则很难接受和使用。

所以，以PICO为代表的VR厂商开始推广以手机作为记录工具的MRC应用，以期用“简单易用”作为MRC的突破点，让更多普通消费者也能成为VR内容的创业者，向周围的朋友分享自己使用VR的绝妙体验。

一方面，手机是人人都有的设备，可以天然降低用户使用成本，另一方面，PICO还充分借助了手机系统能力的优势，比如现在旗舰级别手机的AI能力很强，在对象、动态识别方面的优化比PC更好，因此使用手机MRC不需要绿幕等布景，在日常场景中就能完成，对用户来说也更加友好。

以PICO手机MRC工具目前的使用指引，整个拍摄流程在10分钟之内就能完成，比电脑串流LIV方便很多。用个类比就像是单反摄影和手机摄影一样，前者效果固然更好，但对设备专业性和后期的要求更高，在流行度上远不如手机摄影，同理，手机平台上的MRC工具也给了普通人创作VR混合现实视频的机会。

由于现在这项应用还在推广的初始阶段，它需要完善的方面还有很多。首先就是操作简化，目前手机MRC操作过程的一大难点就是对齐，需要做到VR和手机双端、真人和虚拟结合对齐，在这个过程中用户需要按指导做指定动作来做校准，当完成之后即可用手机端自动录制，这个过程需要用户进行一定的适应，熟练之后执行会更方便。

此外就是这项功能对网络环境要求略高，WiFi环境干扰较大也会影响使用体验。对这些问题，PICO的工程师也表示引导流程会继续优化，还会进一步降低连接和校准时间，这个工作预计在2023年完成——从目前安卓和iOS两端手机硬件的性能发展，特别是AI性能的提升来看，在2023年也会对这方面的体验提升贡献不少分数。

除了软硬件本身需要优化之外，第三方应用的生态也对MRC工具的推广至关重要，这方面内容缺乏，消费者就算是想把自己放到虚拟世界中也无处可去不是？这也是目前明显的短板，在Oculus这么大的体量下，支持MRC的游戏应用只有23款，国内最大的PICO内容生态中支持MRC工具的游戏也只有8款。

这是每种新的生态起步阶段都会面临的问题，特别是作为开发者，更在意ROI（Return of Investment，投资回报率）。因此，厂商在前期的牵引作用对吸引开发者很重要，比如PICO计划一方面通过用户活动、市场推广，提高接入MRC的收益，强化Return，另一方面通过简化MRC SDK集成方式，降低集成成本，进而引入更多的支持PICO MRC的游戏，这是强化Investment。

 

03

全景MRC，下一个创作热点？

当然，我觉得仅是依靠第三方开发者只是一个层面，MRC工具的突破点理应比较多。还记得11月初华为开发者大会上推出的3D实景地图渲染技术么？作为将物理世界快速转化为虚拟世界的工具，类似的应用也一样可以转化到MRC体系当中来，比如虚拟导游、虚拟主播等方式，都可以通过MRC工具加载到这些虚拟化的场景中来。

诚然，那些动辄按平方公里计的庞大虚拟场景并不适合普通消费者来运用，但通过手机实现小场景SLAM建模定位却未尝不可，比如刚刚结束的OPPO INNODAY上推出的“端云实时渲染”，就能让个人创作者实现小范围场景的建模渲染，这也能成为MRC的创作素材。

在这样的前提下，结合ReadyPlayMe这样的个人虚拟形象设计或PICO Avatar虚拟形象系统服务，就可以实现更加灵活个性化的用户虚拟形象定制，要是再加上索尼mocopi之类的全身动作捕捉方案，手机MRC工具自然就能给用户提供更加广大的想象空间不是？感觉在这些虚拟场景数字化工具的共同作用下，普通用户想要达到更好直播或内容呈现，会比实景搭建更简单，结果也会更自由多元。

特别是在当前开发者应用生态还不太丰富的前提下，通过这些能将物理世界数字化的工具，就能让更多内容创作者脱离那些固定应用的框框，更基于本身环境、内容能力等做独立内容的开发，让更多人感受到VR内容创作的魅力——我觉得将这方面做好，开启一个属于VR产业的UGC赛道也是完全有可能的。

说到MRC面对UGC群体的技术革新，就不能不提PICO刚刚推出的全景MRC功能。通过这项刚刚推出的功能，专业内容创作者在绿幕场景下，用一个机位进行捕捉就能实现360°全景MRC视频，这比起传统的固定视角MRC视频录制更进一步。

在游戏全景渲染技术的加持下，PICO可以捕捉游戏环境中360°全景画面，并在PICO和抖音两个平台实现全景画面直播，这种完全沉浸式的直播形式无论是对主播还是群众，都代表着全新体验，不仅能让群众更深刻体验到VR游戏的奇妙体验，更是给内容创作者带来了全新的创作思路，打开了游戏直播差异化的新路径。

 

写在最后

VR/AR是未来我们无法跳脱开的与虚拟世界交互的重要方式，在现在这个时间点说这话也许会得到很多“武断”的评价，但无论是技术的发展，还是行业的指导，都在不约而同地指向这个方向，特别是来自Oculus、PICO这些行业大厂的推动力，让VR行业的前进在不断加速。

VR也许是一个营造体验完全不同虚拟空间的必由之路，但在通往这个目标的过程中，却是需要用MRC工具打破VR体验的围墙，让更多人看到自己身处数字世界中的模样，感知到VR世界的绝妙乐趣所在，特别是手机MRC方案的出台，极大拓展了内容创作的可能性，给了更多人新的机会，再加上全景MRC这样的新工具，无论是内容创作团队还是个人，都得到比过去更好的创作条件。群体的智慧是无穷的，也许未来引爆VR产业的增长点，就会出现在某个用MRC创作的用户当中呢？

 

252