全球消息!“走进混合现实”背后的技术革命:从PC到手机,从绿幕到AI抠图

2022-12-12 08:50:21   来源:商业新知网

文/VR陀螺 Pancake

2018 年,一支别开生面的 VR 游戏视频风靡全球,从此成就了一款现象级产品,它就是《Beat Saber》。直到现在《Beat Saber》仍然霸榜全球,单 Quest 平台收入就超过了一亿美元。

图源:网络


【资料图】

视频中,玩家手持“光剑”,挥刀砍向迎面飞来的方块,与游戏场景浑然一体融合其中。

VR 游戏的魅力在于切身体验到的沉浸感和全新的交互,然而,相比于线下的亲身体验,线上视频却仍然是大部分用户接触到 VR 的核心途径,此时,传统现实人物和 VR 内游戏画面相互分裂的拼接视频形式显然无法传达 VR 的沉浸魅力,这也是《Beat Saber》现实人物和 VR 游戏画面相互融合的混合现实拍摄 MRC 能一鸣惊人的原因所在。

从 2018 年 MRC 录制工具开始迭代,伴随着 VR 硬件厂商 Meta 的加入,以及 LIV 等专业性工具的入局,MRC 视频的制作门槛也在逐步减低,不再是专业性后期选手的专属。

而到了 2022 年,我们看到国内 VR 厂商 PICO 也正式加入到这条赛道,推出了无需绿幕、基于手机的 MRC 视频解决方案,再次拉低了行业 MRC 视频的制作门槛。

全球巨头探索 MRC 视频拍摄

依靠绿幕或蓝幕的虚拟现实混合拍摄在影视制作行业几乎是标配,特别是在需要进行虚实融合特效制作、动画电影拍摄时,制作团队几乎都会采用绿幕+动作捕捉的方式,如今也有一部分采用 LED 屏幕代替绿幕背景,来实现虚拟拍摄的方案。

影视制作当中的虚拟拍摄,是为了实现更好的虚实融合特效,以及降低传统制作成本,更具定制化的故事情节;而目前 VR 领域中兴起的 MRC 视频拍摄则是基于热门的游戏场景,更好地表现 VR 游戏的沉浸魅力,吸引玩家。为了实现更低门槛、低成本的 MRC 拍摄方案,全球诸多头部企业都进行了积极的探索。

(一)Meta:绿幕+实时串流,较高成本的MRC视频制作

Meta 是 VR 行业龙头企业,它也是最早探索基于 VR 头显的 MRC 视频制作的厂商。早在 2019 年的开发者大会 Oculus Connect 6 上,Meta 就展示了其混合现实捕捉工具(Mixed Reality Capture Tool,简称 MRC)。

官方的 MRC 展示视频中,效果十分震撼,不仅虚实画面实时同步,而且人物在虚拟场景抠像十分清晰,接触边缘也无噪点和模糊处。

图源: 网络

如此精美的 MRC 视频,当然也需要制作者付出更高的代价。据 Meta 官方介绍,Meta 的 MRC 视频制作,需要使用 MRC 工具,还要使用分发软件(OBS)进行拍摄。

与之进行配合的硬件还包括:具备独显功能的游戏级个人电脑,接入个人电脑的外置摄像头,一台 Meta 的 VR 头显以及绿幕背景。

虽然 Meta 的 MRC 存在一定学习成本、时间成本和配置要求,但相对于传统“纯后期抠图”的视频制作形式,Meta 在工作流程上进行了大幅度精简,开创了早期基于 VR 头显的第一方 MRC视频制作的先河。

(二)LIV:PC+手机双端,玩法多样的第三方MRC

相对于 Meta 提供的基于 PC 的 MR 视频制作解决方案,第三方平台 LIV 的解决方案则更加具备灵活性,它支持 PC 和手机双端,并且在深度机器学习的加持下,无论用户是否有绿幕,皆可进行 MRC的视频拍摄。

另外,LIV 在 PC 端不仅仅支持 MRC 视频拍摄,还支持 MRC 视频直播、自定义 Avatar 类型的 MR 视频等。

LIV官网

与 Meta 一样,LIV 在 PC 端效果突出,并且操作更简单,仅需从 Steam 平台上下载 LIV 即可解决软件端的所有问题。

不过基于 PC VR 内容的 LIV 也提出了更高的 PC 配置要求——至少英伟达 GTX 1060 或 6GB 同档位的独立显卡,8GB DDR3、英特尔 i5 处理器、固态硬盘。

LIV 还支持手机端的配置,它需要在手机端上安装 LIV ,以及在 Quest 头显上安装 LIV Connect 应用。安装完所有内容后,Quest 上的 LIV Connect 应用会提醒用户通过快速校准进行调整。

图源:网络

完成后,LIV 应用可以显示特定 Quest 游戏的混合现实视图,其中会显示玩家被叠加在虚拟世界的第三人称视角视图上。不过,根据网上测试的基于 LIV 的 MRC 视频来看,其抠像效果表现较为一般,主要是在人体边缘部分可能会出现模糊,边缘溢色的问题。

也许这就是从 2020 年 LIV 首次推出手机版本至今,它依旧在官网处于“实验室功能”的位置的原因之一。当然,相信伴随着深度学习算法的提升,软件内容的进一步配合,MRC 效果未来也会逐步改进。

PICO:无绿幕+智能手机

更低门槛的 MRC 制作方案

2022 年, PICO 也正式推出了其官方的 MRC,在提升效果的同时进一步降低了使用门槛。

官方教程显示,只需让 VR 一体机与智能手机处于同一局域网下,再通过手机端的“PICO VR 助手”APP 点击“混合现实录制”,按照官方提示,经过简单的头显与手机校准,即可实现 MR 视频的录制。

图源:VR陀螺

PICO 的 MRC 没有 Meta Quest 那样复杂的 PC 环境配置,只需一部智能手机即可,与 LIV 的手机端录制功能一样,PICO 的 MRC 不需要绿幕(同时也有绿幕模式,使用绿幕模式拍摄效果更好),并且不需要在手机端安装额外的工具,也不受英语以及网络的限制,对于国内用户来说,使用门槛更低,拍摄效果更好。

事实上,PICO 的 MRC 从推出至今,在小半年的时间里也历经了两次的迭代和优化,作为第一批体验到 MRC 的用户,陀螺君也看到了 PICO 在 MRC 上进步,包括支持更多的手机型号和更多 VR 内容适配。

图源:VR陀螺

在第一代的版本中,PICO MRC 仅支持在 iPhone X 及更新版本的苹果手机中使用,而现在它同时也扩展到了安卓机型当中。不过,由于实时抠图对性能要求较高,手机性能会在一定程度上影响抠图效果。

目前 PICO 的 MRC 已支持在八款主流热门游戏中使用,包括《多合一运动VR》、《疯狂功夫》、《超燃一刻》、《方寸幻境》、《VFC格斗家》、《Histream》、《动感音旅》、《水果忍者》,更多作品在陆续适配中。

图源:PICO

从实际画面效果来看,PICO 用手机结合 AI 算法抠图所实现的效果,边缘清晰可见,并且几乎看不出溢色,堪比专业级抠图效果。

PICO MRC背后原理揭秘:

AI抠图+无线投屏

之所以 PICO 的 MRC 能够实现如此好用的拍摄效果,据 VR陀螺了解,其主要依赖于多项技术创新以及背后字节的技术中台提供的强大的抠图技术以及无线投屏能力的帮助。

一方面,PICO 利用了深度学习抠图模型,将人物从物理环境中抠出并且叠加到虚拟游戏空间中。混合现实录制抠图模型不仅可以抠人,也可以抠 VR 头显和手柄,是对 VR 场景下做的特别优化。

图源:VR陀螺

AI 深度学习的抠图模型,让 PICO VR 实现了不用绿幕也能拍出虚实融合的 MR 视频效果,而且其“虚实叠加”的显示效果极具层次感,非一般的后期剪辑可比。当然,PICO 也支持“绿幕模式”拍摄,在增加背景绿幕等显著颜色背景之后,通过实时自动合成渲染的方式,可以大幅提升抠图和视频整体效果。

另一方面,在手机端实时显示的“虚实叠加”混合现实视频,背后则是其强大的“无线投屏”技术,它需要将 VR 头显内实时显示的“虚拟画面”通过 WIFI/蜂窝网络同步输出到手机端,这对于带宽网络环境和 PICO VR 头显内的实时录屏传输技术都提出了苛刻的要求。

图源:VR陀螺

抠图+投屏,成就了 PICO 的混合现实录制功能,看似简单明了的技术融合背后,却是一个业内不可忽视的创新之举,它带来了更低门槛的 MR 视频制作。

目前官方也正在将该 MRC 制作方法申请作为发明专利。天眼查显示,今年 10 月份北京字跳网络技术有限公司专利“视频录制方法、装置、设备及介质”正式公开,申请公开号为 CN115150555A,根据其摘要说明正是指代目前应用于 PICO VR 上的混合现实视频制作,可以优化 VR 头戴设备的实时性能消耗,避免画面显示卡顿和帧率下降的风险,使得用户的体验沉浸感更强,拍摄出来的画面也更流畅。

虽然 PICO VR 目前的混合现实录制在算法抠图上仍有需要完善的细节,但是相比于传统的 MR 视频,在制作流程、制作时间、技术要求上都降低了不少。PICO 混合现实录制工具的最大的亮点莫过于抛弃了以 PC 端为阵地核心的玩法,以无线网络为介质,将智能手机的便携性和普及性价值最大化呈现。

低门槛MRC视频制作

激活VR商业生态循环

MRC 视频是一种极具科幻气息的内容展现形式,在 5G 大流量时代,短视频时代,可以给到内容创作者、VR 开发商和 VR 硬件厂商连环正向效应。

国产化“混合现实录制”工具的出现,可以让更多视频博主加入到 MRC 视频拍摄的队伍中来,丰富 UGC 视频内容创作,凭借差异化的内容,也能赢得更多流量关注。

并且,透过 MRC 视频,VR 内容开发商们也能让更多 C 端用户接触到自家内容的创新性和趣味性,让 MRC 视频成为 VR 内容的最佳传播介质,从而提高产品销量和品牌影响力。据悉,VR 内容开发商只需在软件内集成对应 SDK,即可让自家 VR 软件支持 PICO MRC。

图源:VR陀螺

而作为 MRC 的提供者和 VR 内容的承载平台,PICO VR 也可以借助 MRC 视频的传播,吸引更多玩家和三方内容创作者,助推其 VR 硬件市场的增长。

并且笔者大胆推测该功能在未来也可以更好地联动抖音集团旗下其他移动端产品,如视频剪辑软件“剪映”,短视频平台抖音等,形成从硬件终端、软件工具、内容宣发的完整闭环生态,发挥抖音的大流量平台机制,达到提高 PICO 市场品牌知名度和助推 VR 一体机市场提升的效果。

结语

MRC 的可拓展性很强,未来或许并不局限于“混合现实视频”制作,在 MRC 视频的基础上,还能进一步利用纯视觉全身动捕等技术,将真人自定义为 Avatar,从而创作个性化 MRC 视频;此外,通过在线流媒体技术,实现 MR 直播,在 VR 中与用户互动,创新传统直播形式也是未来的发展趋势之一。

MRC 虚实融合视频创作工具的推出,将大幅改变 VR 内容传播效率与效果,为全球 VR 终端普及带来重要价值。期待未来的 MRC 功能不断拓展,VR 内容生态更加丰富,中国 VR 产业迈向更高的阶梯。

关键词: 视频拍摄 智能手机

上一篇:
下一篇:
精彩阅读

全球消息!“走进混合现实”背后的技术革命:从PC到手机,从绿幕到AI抠图

热点

2018年,一支别开生面的VR游戏视频风靡全球,从此成就了一款现象级产品,它就是《BeatSaber》。

三星计划明年面向开发者推出XR设备、《MOSS: BOOK Ⅱ》荣获TGA 2022“最佳VR/AR游戏”

热点

三星电子旨在创建一个以三星为中心的XR生态系统,元宇宙、软件(SW)、内容和上游零部件等各类公司和机构均可参与其中。

政企办公“分水岭”已至,融云百幄数智化破局

热点

集体中的每一个要素彼此连接和协同,彼此竞争和促进,进而引发创新、激活价值,这也是数字化转型的要义。

卫星通信,正在加速!

热点

随着各国政府投入更多资源建设自己的航天部门,太空在战略上日益重要。

广电5G新精彩!看华数如何连接世界杯流量!

热点

世界杯作为全球足球比赛的标杆备受关注,据国际足联预测,今年卡塔尔世界杯将吸引全世界超过50亿观众。

AI作画火爆出圈,大厂入局、遍地开花能卷出AIGC新赛道吗?

热点

AIGC迅速崛起,目前跑出的第一个大范围应用产品是AI作画。

全球快看点丨国内首个科学数据搜索引擎,让你不再为数据获取发愁

热点

Findata主要是解决解决科研人员“数据难发现、难获取”等问题,让数据变的“唾手可得”。

流量红利见顶,看超火超卷超落地虚拟人如何走上IP建设之路

热点

而作为“首位文化出海虚拟人”的初始设定让“天妤”打开了第一步,也为“天妤”日后的发展开辟了一条不同以往虚拟人的道路。

全球观焦点:观点:一个“更好的元宇宙”将是去中心化的

热点

对元宇宙的乐观不应该停留对产业规模增长潜力的画大饼,还包括对这个平行世界的重新构建。

财富

ps合并图层快捷键是什么?合并图层什么意思?

资讯

选中图层按住ctrl键,点击选中ps中需要合并的多个图层。点击合并图层右击鼠标,点击合并图层。实现结果选中的多个图层就合并成一个图层了。

人人网以前账号怎么登录?如何找回人人网账号?

资讯

首先打开人人网http: www renren com 网站,在登录账号下方按注册按钮。点开注册页面后,在里面有两种注册方法,第一种方法:就是用手机号

win10快速切换桌面?电脑怎么一键切换桌面?

资讯

首先同时按下WIN键+D键,就能立刻切换回到歌眠Win系统桌面。然后点击桌面任务栏腊吩施右下角,就能立即切换回到Win系统桌面。然后不断按WIN

evaluate公式怎么保存?evaluate函数计算方法是什么?

资讯

首先打开excel软件接下来点击公式任务栏,并点击名称管理器然后新建一个公式,在引用位置处填写EVALUATE,并点击需要计算的位置,名称填写X

word字体颜色怎么设置?电脑字体颜色怎么设置?

资讯

输入文字word等办公软件中输入需要的文字。打开颜色选项选择文字后,点击开始菜单栏字体设置中颜色设置右侧的下拉三角标。选择颜色选择字体

电脑最简单安装驱动方法是什么?笔记本电脑摄像头驱动怎么装?

资讯

右击桌面左下角的Windows按钮,从其右键菜单中选择控制面板项。从打开的控制面板界面中,找到设备和打印机项进入。此时将打开设备和打印机

excel分类汇总要怎么做?excel表格如何分类汇总?

资讯

首先打开需要编辑的excel,鼠标左键选中要进行分类汇总的单元格。然后在数据菜单中点击排序和筛选选项进行排序数据粒板。之后在该页面中点

ppt图表使用方法是什么?ppt上怎么做图表?

资讯

首先打开需要编辑的excel,鼠标左键选中要进行分类汇总的单元格。然后在数据菜单中点击排序和筛选选项进行排序数据粒板。之后在该页面中点

怎么卸载英伟达显卡驱动?显卡驱动怎么恢复旧版?

资讯

打开设备管理器在桌面找到计算机,右键选中设备管理器并打开。找到显示适配器找到显示适配器,双击点开查看显卡。点击卸载找到需要卸载的显

世界聚焦:淘金TikTok,“交个朋友”有些野心

资讯

淘金TikTok,“交个朋友”有些野心,不卖货先开课,明年目标收入一个亿。

三星计划明年面向开发者推出XR设备、《MOSS: BOOK Ⅱ》荣获TGA 2022“最佳VR/AR游戏”

三星电子旨在创建一个以三星为中心的XR生态系统,元宇宙、软件(SW)、内容和上游零部件等各类公司和机构均可参与其中。

政企办公“分水岭”已至,融云百幄数智化破局

集体中的每一个要素彼此连接和协同,彼此竞争和促进,进而引发创新、激活价值,这也是数字化转型的要义。

卫星通信,正在加速!

随着各国政府投入更多资源建设自己的航天部门,太空在战略上日益重要。

广电5G新精彩!看华数如何连接世界杯流量!

世界杯作为全球足球比赛的标杆备受关注,据国际足联预测,今年卡塔尔世界杯将吸引全世界超过50亿观众。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个