Facebook分享最新VR/AR研究成果,微美全息5G+AR云平台推动XR新发展

2020年计算机视觉和模式识别大会汇聚了世界各地的计算机视觉研究者和工程师,而Facebook Reality Labs显然不会错过这样一场盛会。其中,首席科学家迈克尔·亚伯拉什通过视频介绍了团队的研究及相关进展。

亚伯拉什首先引用乔布斯于2005年在斯坦福大学毕业生演讲中针对PC图形界面未来发展方向的名言(You couldn't argue about the inevitability, it was so obvious)指出,正如始于上世纪90年代的第一波HCI革命一样,基于虚拟现实和增强现实的第二波HCI革命同样不可避免。

第一波HCI革命是以PC和智能手机为代表的二维计算机,它们带来的数字世界改变了我们娱乐,工作和社交的方式。但尽管是这样,我们与数字世界的交互只能局限于二维屏幕。相反,亚伯拉什认为虚拟现实和增强现实则有望充分发挥人类完整的能力,以至于数字和现实能够实现无缝的融合。

亚伯拉什认为未来的VR头显能够实现200度视场,视网膜分辨率,可变焦距,逼真音频,而AR眼镜则是超级时尚,完全可以取代智能手机,并赋予佩戴者感知超能力。不过,目前这个愿景所需的技术远远没有达到应有的水平,包括光学系统,界面,触觉,虚拟化身和人体工学等。

首先是优化的手部追踪功能。如上方视频所示,现在系统能够相当精确地追踪手部和手指的快速运动。对于这一点,他表示光学手部和手指追踪将成为空间计算机范式的重要组成要素。

Facebook在虚拟化身渲染方面同样取得了进展,包括人体模拟,骨骼追踪,动捕技术,以及Codec Avatars。根据亚伯拉什的说法,再过数年就可以在虚拟现实中渲染出与真实别无二致的数字形象。

增强现实技术(AR)。是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着随身电子产品CPU运算能力的提升,增强现实的用途将越来越广。

扩展现实(XR)是一个术语,通过计算机技术和可穿戴设备产生一个真实与虚拟组合的,可人机交互的环境。扩展包括增强现实(AR)、虚拟现实(VR)、混合现实(MR)等多种形式。换句话说,为了避免概念混淆,XR其实是一个总称,包括了VR、AR、MR。XR分都分为多个层次。从通过,有线传感器输入的虚拟世界,到完全的虚拟世界。

5G的高传输低时延等特点能够丰富XR应用场景。5G网络的大带宽特性能够满足XR发展需求。5G叠加边缘计算能够带来低时延,将本地渲染所需算力转移到云端处理。

微美全息(WIMI.US)作为5G应用的生态服务商,微美全息专注于计算机视觉全息云服务,微美全息云产品布局商业应用场景主要聚集在家用娱乐、光场影院、演艺系统、商业发布系统及广告展示系统等五大专业领域。微美基于成像检测和识别技术、模板匹配和检测技术、视频处理和识别技术、成像识别中的全息3D层替换技术和成像跟踪中的动态融合处理技术,将全息AR广告嵌入到在线视频中。并希望这些技术将应用于公司未来的战略蓝图,例如全息3D面部识别技术和全息面部变化技术的开发和应用。

微美研发团队独立开发的综合全息应用平台,它包括全息视听综合操作、全息广告服务、全息媒体资产管理和平台级全息数据管理和全息交互系统、全息识别系统、全息标签系统、全息跟踪系统、全息捕捉系统和全息分析系统。

在招股书里显示,随着5G全息通讯网络带宽条件变化,5G全息应用市场将迎来爆发,全息互动娱乐、全息会议、全息发布会等高端应用逐步向全息社交、全息通讯、全息导航、全息家庭应用等方向普及。微美全息云计划基于全息AI人脸识别技术和全息AI人脸换脸技术为核心技术,用多个技术创新的系统支持全息云平台服务和5G通讯全息应用。

微美全息的技术平台建立在高度可扩展和灵活的基于云的基础架构上,使微美全息能够存储和利用从微美全息的产品和第三方来源收集的大量实时数据,并确保其在容纳更多业务合作伙伴方面的高速性能。微美全息利用复杂的数据进行挖掘,并利用用户行为进行数据分析,根据用户的行为为最终用户创建兴趣档案。微美全息通过微美的全息AR广告服务从大约3.5亿可靠的终端用户群中收集了用户数据,并对这些数据进行分析,最终获得2000多个用户标签。

全息云业务将与5G深度结合,在5G的高速率与低延时的协作下,远程通讯与数据传输,从系统终端到业务服务器传输时延平均6ms左右,远低于4G网络传输时延,保障了全息AR的远程通讯与数据传输中的无卡顿、低时延,以及多终端异地协同,时交互的丰富性和多样性。使得端+云协同的协同更加高效。增强型移动宽带(eMBB)和物联网(IoT)应用,使得微美全息云的全息AR广告业务与全息AR娱乐业务,以及全息互动娱乐、全息会议、全息社交、全息通讯、全息家庭全息等,都将基于5G+AI人脸识别技术和全息AI人脸换脸技术的核心技术获得有效增长。

近年来,面部识别行业的应用市场不断扩大。为获得更好的准确性和质量,面部识别应用呈现了从二维技术向三维技术过渡的趋势。所以出现这种趋势的原因是二维面部识别技术易受到姿势、光线、外观和其他因素的影响,从而使识别率下降。因此,微美全息相信三维技术将逐渐取代三维面部识别技术。微美全息的计划是通过基于人工智能的算法提供3D面部识别全息云应用服务。微美全息的未来计划是通过微美的3D面部识别全息云技术满足各行的潜在客户,如家庭、零售、旅游、电信、金融、国家安全、机器人、教育、社会媒体、终端设备、商业、运输、智能商务或其他潜在应用。

目前,我国的5G进程一直是在有条不紊的发展着,国家现在已经有了多项政策出台支持5G网络的建设,整个5G生态展现出了欣欣向荣的一面。5G的创新在于其网络切片技术,优势则在于其大带宽和低时延。5G要发展,目前可以预见的应用就是XR,其他传统业务对5G的需求并不是刚性的。XR的发展必须要借助大带宽和低时延,因此5G天然助力XR。在5G加持下,XR在B端的应用将快速发展,尤其是在智能制造、智慧矿山、智慧能源、智慧医疗、智慧城市的应用将会高速发展,在国家5G相关政策推动,XR将最终迎来发展的突破口。随5G与XR技术渗透到各级企事业单位的各项工作流程之中,5G时代下的XR必然是一个万亿级市场。