即时:Meta数字人2代来了!告别VR头显,iPhone一扫就行

2022-06-20 09:09:33   来源:商业新知网

【导读】 扔掉笨重的VR头显吧,现在只要拿起手机,Meta数字人一扫就得!

Meta的逼真数字人2.0再次进化,现在可以用iPhone生成了,只要拿出手机扫一扫!

早在2019年3月,Facebook就在活动上展示了第一代数字人形象(Codec Avatar 1.0)。第一代数字人是利用多重神经网络,用 132 个摄像头的专用捕获装置生成的。


(资料图)

一旦生成,在VR头显设备上的5个摄像头。每只眼部提供两个内部视角,脸部以下提供三个外部视角。

就像下面这样。

从那时开始,Facebook一直在不断改进这些虚拟形象的逼真度,比如只需麦克风和眼球追踪技术,就可以获得更逼真的形象。最终在2020年8月进化为Codec Avatar 2.0版。

2.0版比1.0版最大的进步在于,摄像头不再需要扫描跟踪人脸,而是只要跟踪眼球的运动就行了。

新的神经网络将VR头显的眼动追踪数据与麦克风的音频馈送相融合,推断佩戴者可能的面部表情。

将声音模型和眼动模型数据反馈至混合模型,再经过融合模型计算处理,由渲染器输出Avatar形象。

今年5月,团队更进一步宣布,2.0版的Avatar彻底达成了「完全逼真」的效果。

「我想说的是,未来十年的一个重大挑战是,我们是否可以实现与面对面互动无法区分的远程Avatar互动。」该项目负责人之一的 Sheikh 说。

看看上面的对比,a为真人照片,e为最终渲染生成的虚拟人,看起来好像没有怎么吹牛?

别急,上面这是实验中的比对结果,实际上应用场景下,目前Meta虚拟人的形象是这样的。

即使是最右边「最逼真」的形象,还是卡通形象,这离「完全逼真」怕是还有点远,不过Meta说的是十年,看看演示中的形象,这个目标实现的希望还是不小的。

而且,虚拟人技术的进步,也不仅仅体现在逼真度一个方向,大可不必沿着一条路一直走,Meta也在尝试着其他方向。

比如,摘掉VR头显?

以前,生成一个单独的Codec头像需要带一个名为「MUGSY」专门捕捉设备,上面有171个高分辨率摄像头,就是上图这个(密恐退散)。

Meta现在说,不用带这东西了,有个iPhone就行了!

只要一台带正面深度传感器的智能手机(比如带FaceID功能的iPhone),直接扫一扫(确切地说,是好几十扫),就能生成逼真的虚拟人头像。

首先保持面无表情,扫描一次,然后做出各种不同的表情,最多支持65种不同表情。

Meta称,用手机完成表情扫描,平均大概需要3-4分钟。

当然这少不了算力的支持,最终生成的逼真虚拟人头像,在一台有四个高端GPU的机器上,大概需要6个小时。

当然,如果这个技术用在产品上,这些计算会交给云端GPU,无需用户自己的算力资源。

那么,为什么之前需要100来个摄像头才能完成的事,现在只需一台手机就可以做到了呢?

秘诀就是一种叫做Hypernetwork的通用模型。

这是一种神经网络,可以生成另一个神经网络的权值。在上面的例子中,就是生成特定人的Codec Avatar.

研究人员通过扫描255个不同的人脸来训练这个模型,使用的是一种先进的捕捉装置,很像MUGSY,但是只有90个摄像头。

虽说别的研究人员已经展示过用智能手机扫描生成的人像了,而且Meta表示,生成的结果是SOTA级别的。

然而,现在的系统还是不能应付眼镜和长头发。并且只能到头,身体的其它部位还不行。

当然了,Meta在达到这种保真度之前,还有很长的路要走。

现在Meta的人像都有种卡通风格。而那种逼真的感觉随着时间的推移慢慢降低了。

现在这种形象可能更适合用Quest 2玩儿Horizon Worlds的群体。

然而,Codec Avatar可能最终只会是一个单独的选项,而不是现在这种卡通风格的升级。

Meta的CEO扎克伯格是这么描述未来的:你可能会用一个充满表现主义的人像玩儿平常的游戏,而用一个更逼真的人像来参加工作会议什么的。

今年4月,负责Codec Avatar团队的Yaser Sheikh表示,「现在来预测Codec Avatar还有多久能投入使用是不太可能的。」

不过,他明确表示,他认为项目是有很大进步的。

「如果说之前离实现还差十个奇迹那么远,如今可能只差五个奇迹了。」

声明

来源 :新智元 , RAD极客会推荐阅读,不代表RAD极客会立场,转载请注明,如涉及作品版权问题,请联系我们删除或做相关处理!

关键词: 神经网络 研究人员

上一篇:
下一篇:
精彩阅读

即时:Meta数字人2代来了!告别VR头显,iPhone一扫就行

热点

扔掉笨重的VR头显吧,现在只要拿起手机,Meta数字人一扫就得。

当前信息:罗永浩新身份,AR产品经理

热点

祝福罗永浩老师和他的团队,能做出优秀的AR产品。

快消息!孙武玩《魔兽》?有图有真相

热点

最近,脑洞大开的外国人用DALL·E和Imagen对“中西结合”玩得不亦乐乎。

今亮点!现在,耳朵也要进入元宇宙了

热点

提到AR VR设备你会想到什么?赛博朋克风的画面,还是虚拟与现实叠加带来的科幻感?

要闻速递:马斯克:推特要学习微信,让10亿人「活在上面」成为超级APP

热点

马斯克要把推特用户规模从现在的2 29亿大幅增加到10亿以上。

今日观点!马斯克连线推特员工:学学微信,目标10亿日活

热点

马斯克还未正式接手推特,员工已经迫不及待想要得到一些答案。

苹果公司“社交提醒”专利获授权,排名第七

热点

近日,苹果公司社交提醒专利获授权。摘要显示,本发明描述了用于基于电子设备的用户之间的社交交互提供提醒的技术。社交提醒可被设置为基于

今日播报!奇点云、GrowingIO联手后的“第一枪”:打造跨境工具国产替代 | Morketing解读

热点

奇点云收购了GrowingIO,这是2022年行业内第一个大规模合并案。

每日视讯:IE浏览器退役 曾经的王者为何沦为“前浪”

热点

在巅峰时刻曾占据全球95%以上浏览器市场份额的,IE浏览器将正式退出舞台。

信息:“元宇宙”真的不是VR版的“网游”?抱歉还真不是!

热点

什么是元宇宙?这就像在问“什么是二次元”一样,目前还没人能给出“标准答案”。

财富

全球首款!东芝研发出4.5kV双栅极反向传导注入增强型晶体管

资讯

东芝电子元件及存储装置株式会社和东芝株式会社(Toshiba Corporation,统称 东芝)共同研发出全球首款4 5-kV双栅极反向传导注入增强型栅极

每日看点!新东方带货能火多久?

资讯

新东方带货能火多久?,选品、供应链力不从心。

报道:贾跃亭 PPT 的威力,美国人终于见识了

资讯

贾跃亭PPT的威力,美国人终于见识了,FF宣称的1 4万份订单,实际只有401份。

【热闻】体面地送葬一只宠物要花多少钱

资讯

体面地送葬一只宠物要花多少钱,传统火化、制作标本、遗体告别、法会超度、宠物墓园、商用克隆…

每日简讯:微软要为XGP加入试玩,只为让玩家们体验更多

资讯

微软要为XGP加入试玩,只为让玩家们体验更多,游戏试玩的风靡,其实与市场的变化有着很大关系。

今日报丨困境中的企业家,应该多看看俞敏洪

资讯

困境中的企业家,应该多看看俞敏洪,如何在绝望中寻找希望?

信息:微信征服马斯克,推特逃不开裁员

资讯

微信征服马斯克,推特逃不开裁员,优秀的人才配远程办公?

观点:轻松筹水滴筹称要打击「推广费」行为,自身商业模式被诟病

资讯

轻松筹水滴筹称要打击「推广费」行为,自身商业模式被诟病,你还会在大病众筹平台上捐款吗?

今日要闻!刘畊宏跳操、王心凌怀旧,粉丝经济变了

资讯

刘畊宏跳操、王心凌怀旧,粉丝经济变了,以前的粉丝喜欢闪亮的偶像,现在的用户更喜欢闪亮的自己。

通讯!吴军最新分享:要趁早明白你这一辈子到底想干什么

资讯

吴军最新分享:要趁早明白你这一辈子到底想干什么,35岁前,一定要完成的5件事。

当前信息:罗永浩新身份,AR产品经理

祝福罗永浩老师和他的团队,能做出优秀的AR产品。

快消息!孙武玩《魔兽》?有图有真相

最近,脑洞大开的外国人用DALL·E和Imagen对“中西结合”玩得不亦乐乎。

今亮点!现在,耳朵也要进入元宇宙了

提到AR VR设备你会想到什么?赛博朋克风的画面,还是虚拟与现实叠加带来的科幻感?

要闻速递:马斯克:推特要学习微信,让10亿人「活在上面」成为超级APP

马斯克要把推特用户规模从现在的2 29亿大幅增加到10亿以上。

今日观点!马斯克连线推特员工:学学微信,目标10亿日活

马斯克还未正式接手推特,员工已经迫不及待想要得到一些答案。

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个

吉利几何EX3功夫牛高居榜首,4月投诉量230起

近日,车质网发布了2022年4月车型投诉排行八卦(前30名),其中有不少产品的出现属实让人没想到。具体来看,吉利几何EX3功夫牛高居榜首,4月

“说好了未达到目标全额退款,结果都是骗人的!”

春天不减肥,夏天徒伤悲。一波减肥大军抱着坚定的信念踏上征途,发现身边各式各样的高端减肥训练营正打着健康减肥封闭管理保质保量包吃包住