今亮点!现在,耳朵也要进入元宇宙了

2022-06-20 05:50:22   来源:商业新知网

提到AR/VR设备你会想到什么?赛博朋克风的画面,还是虚拟与现实叠加带来的科幻感?

当大家的目光仍聚焦于视觉交互层面时,业内一场有关听觉层面的变革已经悄然兴起。

在谈论这场听觉革新之前,我们先来感受一下XR时代的“声临其境”。


(资料图片)

注:戴上耳机体验更好哦

这是国内人机交互产品平台公司Rokid近日发布的一组应用于AR眼镜的6DoF空间声场技术Demo视频。

不同于传统双声道、立体音带来的听觉体验,6DoF空间声场技术可以在混合现实中模拟声源与人耳之间因空间位置变化、有无遮挡物等带来的声音强弱与方向的变化,从而让AR眼镜为用户带来更具临场感的听觉体验。

什么是6DoF空间声场?

6DoF空间声场其实是声音在三维领域的体现。但这不是简单的通过更多声道让声音更有立体感,而是和视频空间化同步的音频空间化过程。因此包含了两个必备要素—— 3D音频 和 头部运动的实时反馈 。

首先看6DoF空间声场的第一个必备要素—— 3D音频 。传统的5.1声道可以把声音展现在一个水平面上,声音定位因此具备前后、左右两个维度,这被称为2D音频。当一个音频同时还具有上下维度的时候,这个音频就是3D音频了。

△ 图:3D音频图示(图源自网络)

6DoF空间声场的第二个必备要素—— 对头部运动的实时反馈 。在现实世界中,当我们的头部发生转动或位移,声源本身的绝对位置不会改变,而声源与头部相对方向会产生变化。

举一个例子:在你前方有把吉他正在弹奏音乐,如果你转向右边,音乐声就会相对地变到你的左边;如果你转向左边,音乐声就会相对地变到你的右边。因此,要在混合现实中实现更接近于现实中的听觉体验,就需要准确定位声源与用户头部之间的空间位置,即实现对用户头部运动的实时追踪。

6DoF空间声场的实现需要软硬件高度协同

要满足6DoF空间声场技术的两个必要元素并非易事,在技术层面,这需要 空间引擎 (Space Engine)和 音频引擎 (Audio Engine)高度融合,并充分利用硬件资源。

空间引擎的核心工作是 虚实空间融合 。引擎预先利用三维重建技术构建地图,建立虚拟世界坐标系,并增加虚拟物体,设置位姿、形状、材质等属性。

运行时,通过处理传感器数据得到观察者(如佩戴AR眼镜,观察者就是人的头部位置)的真实空间位姿和本地地图,进而通过地图匹配得到真实空间和虚拟空间的位姿变换,就可以把位姿统一在虚拟世界坐标系里。

根据不同的传感器类型和数量,空间引擎可以获得观察者不同类型的自由度(Degrees of Freedom-DoF)信息,从而为音频引擎提供必要的空间信息。

比如人头的自由度分为:既有位移又有旋转的6DoF、只有旋转的3DoF、人头不动的虚拟空间,那对应的音频也就可以分为6DoF空间声场、3DoF空间声场、环绕声。因此,6DoF空间声场技术就需要获得更复杂的人头自由度。

△ 图:6DoF自由度(图源自网络)

音频引擎的核心工作是对音频信号和 HRTFs(Head Related Tranfer Functions,头相关传递函数,简称头传函数)做卷积,生成 双耳音频 。HRTFs是在水平角(azimuth)、俯仰角(elevation)和距离(distance)这三个度量维度做坐标采样测量出的卷积核集合,其准确性是6DoF空间声场呈现效果的主导因素。

但目前可商用的HRTFs数据库能达到的精度还未完全与人耳的听辨能力所媲美,更具挑战的是每个人的人体工学参数和心理声学系统都不同,甚至会随着年龄增加而变化。

准确测量每个人的HRTFs参数显然不现实,如何才能低成本地⽣成个性化HRTFs?已经实现6DoF空间声场技术落地的Rokid技术团队给出了一个解决思路,即在考虑端上NPU/GPU等计算性能的情况下,结合深度学习技术,对更精细化的成分做出更精细的生成。

△ 图:XR设备应用6DoF空间声场需要软硬件高度协同

此外,为了增加遮挡、反射、混响等效果,让6DoF空间声场更具真实感,还需要用到诸如几何声学(Geometric Acoutstics)的光线追踪和波动声学(Wave Acoustics)的球谐函数(Spherical Harmonics)分解等技术。这对设备的算力有着极高的要求,也会给设备带来更大的功耗负荷,增加设备成本和安全风险。所以在实际应用中,往往需要在球谐函数的阶数、语音质量以及空间精准度之间做相应的妥协与平衡。

除了算法层面,6DoF空间声场技术的应用也要考虑设备的硬件形态。当前的很多音频算法都是基于入耳式或头戴式喇叭,但AR眼镜作为未来用户长期佩戴的可穿戴式设备,如果采用入耳式设计不仅会严重地损伤用户听力,更是违背了AR对物理和数字的融合使命,因此,在保持开放式喇叭设计的同时,如何保障6DoF空间声场的呈现效果和安全性就成为了新的挑战。

目前,Rokid技术团队采取的办法是,通过 定向声技术 的研究与使用,来解决隐私性问题。同时,为了让6DoF空间声场的音效更丰富饱满,通过音腔结构的设计、声音频率的修复、根据人耳听觉做声音谐波及混响等方式增强音质,减少音频效果的损失,让用户真正感受到“声临其境”。

一场声音革命,正在悄然兴起

6DoF空间声场技术在AR设备上的应用落地,让我们看到了声音在混合现实中的广阔应用空间。通过6DoF空间声场技术,AR眼镜等设备可以摆脱视场角(FOV)限制,让用户通过声音发现画面之外的内容,以此实现360度范围的内容呈现。

同时,除了视觉层面的交互,6DoF空间声场技术的应用让听觉也成为了新的交互维度。结合6DoF空间声场,用户可以在混合现实中快速准确定位发声物体的方向,清晰区分接收到的声音信息,感受声音距离和位置的变化……这将让用户在混合现实中获得更加接近现实世界的体验,从而进一步降低混合现实中数字世界和现实世界的割裂感。

6DoF空间声场带来的全新听觉体验正在冲击统领了大半个世纪的传统立体声音,但任何一项新技术的应用和普及都绝非只靠某一团队、某一公司之力,这需要不断降低准入门槛,吸引更多行业力量的加入。

如Rokid就表示将把6DoF空间声场集成到全新升级版的YodaOS-XR操作系统中,作为YodaOS-XR操作系统的基础能力供行业开发者们进行调用。 同时,Rokid还计划推进更多应用于AR眼镜的特殊音效的开发,如环绕与微重低音的高保真音效等,以高效易用的SDK让开发者真正实现即拿即用。

有消息称,Rokid全新升级的YodaOS-XR操作系统或将于今年下半年对外发布,包含诸多自然交互引擎、友好的UI界面、原生XR应用以及应用开发框架等。 届时开发者们能够专注于精品内容的打磨,开发出各类富有想象力的应用和内容,比如XR游戏、XR会议、XR社交、XR影院等,和广大用户携手进入真正的AR世界。

XR时代的终极目标是虚拟世界和物理世界的完美融合,这种融合主要是对人类与外界进行信息交换的一些方式,如触觉、听觉、视觉、嗅觉、味觉等进行模拟和增强。

6DoF空间声场等技术的应用拓宽了XR设备的想象边界,也悄然掀起了一场感知交互革命。我们或许可以预见,在视觉和听觉之后,触觉、嗅觉、味觉等“感官体验”也将在XR时代被重新定义。

*本文系量子位获授权刊载,观点仅为作者所有。

— 完 —

关键词: 操作系统

上一篇:
下一篇:
精彩阅读

今亮点!现在,耳朵也要进入元宇宙了

热点

提到AR VR设备你会想到什么?赛博朋克风的画面,还是虚拟与现实叠加带来的科幻感?

要闻速递:马斯克:推特要学习微信,让10亿人「活在上面」成为超级APP

热点

马斯克要把推特用户规模从现在的2 29亿大幅增加到10亿以上。

今日观点!马斯克连线推特员工:学学微信,目标10亿日活

热点

马斯克还未正式接手推特,员工已经迫不及待想要得到一些答案。

苹果公司“社交提醒”专利获授权,排名第七

热点

近日,苹果公司社交提醒专利获授权。摘要显示,本发明描述了用于基于电子设备的用户之间的社交交互提供提醒的技术。社交提醒可被设置为基于

今日播报!奇点云、GrowingIO联手后的“第一枪”:打造跨境工具国产替代 | Morketing解读

热点

奇点云收购了GrowingIO,这是2022年行业内第一个大规模合并案。

每日视讯:IE浏览器退役 曾经的王者为何沦为“前浪”

热点

在巅峰时刻曾占据全球95%以上浏览器市场份额的,IE浏览器将正式退出舞台。

信息:“元宇宙”真的不是VR版的“网游”?抱歉还真不是!

热点

什么是元宇宙?这就像在问“什么是二次元”一样,目前还没人能给出“标准答案”。

最资讯丨数字化转型提速企业级PaaS市场,谁才是赛道的领跑者?

热点

在企业数字化转型持续深入开展的今天,PaaS市场的爆发才刚刚开始。

要闻:中文互联网的文字内容质量,正在显著下降

热点

中文互联网的文字内容质量,正在显著下降。

每日看点!元宇宙创建未来——618天猫头号玩家品牌潮酷数字作品即将上线

热点

IP内容由于文化内涵丰富,与实体品牌的产品属性天然有互补性,在发行数字藏品时同样适用。

财富

今日要闻!刘畊宏跳操、王心凌怀旧,粉丝经济变了

资讯

刘畊宏跳操、王心凌怀旧,粉丝经济变了,以前的粉丝喜欢闪亮的偶像,现在的用户更喜欢闪亮的自己。

通讯!吴军最新分享:要趁早明白你这一辈子到底想干什么

资讯

吴军最新分享:要趁早明白你这一辈子到底想干什么,35岁前,一定要完成的5件事。

时讯:危机时刻,他打动乔布斯,拯救迪士尼

资讯

危机时刻,他打动乔布斯,拯救迪士尼,打动乔布斯,拯救迪士尼。

谷歌宣布:将向企业客户直接出售其无线专网服务

资讯

本周二,谷歌正式揭开了其无线专网解决方案的面纱。该公司表示,它将向企业客户直接出售这项服务,此举可能使谷歌与爱立信、Verizon、微软

苹果推出“内部模式”为旧设备启用“Legacyois”功能

资讯

早些时候,苹果软件工程主管 Craig Federighi 曾解释为何这项功能仅限于 M1iPad。但是本周,我们又看到了与 Stage Manager 相关的另

每日速看!融资 | 「安钛克医疗」完成近亿元C轮融资,张科禾润基金领投

资讯

融资|「安钛克医疗」完成近亿元C轮融资,张科禾润基金领投,安钛克医疗的房颤冷冻球囊消融产品相比已上市产品,在球囊、鞘管、电极设计上做了大

每日速看!中国茶叶,想和奶茶“争夺”年轻人

资讯

中国茶叶,想和奶茶“争夺”年轻人,中国茶,有了新生命。

百事通!他们人生第一次直播购物,都给了俞敏洪的东方甄选

资讯

他们人生第一次直播购物,都给了俞敏洪的东方甄选,最近,社交平台都被“双语直播带货”的新东方老师刷了屏。资本市场也受此影响,新东方在线股

热门看点:融资 | 「Magic Spoon」B轮融资8500万美元,HighPost Capital领投

资讯

融资|「MagicSpoon」B轮融资8500万美元,HighPostCapital领投,「MagicSpoon」由GabiLewis和GregSewitz于2019年联合创办,主打健康谷物食品,即

每日观察!融资 | 「芯视佳」获新一轮战投,中微半导体投资

资讯

融资|「芯视佳」获新一轮战投,中微半导体投资,芯视佳介绍,公司致力于为全球客户提供高分辨率、高对比度、超轻薄、低功耗、高可靠的硅基OLED

要闻速递:马斯克:推特要学习微信,让10亿人「活在上面」成为超级APP

马斯克要把推特用户规模从现在的2 29亿大幅增加到10亿以上。

今日观点!马斯克连线推特员工:学学微信,目标10亿日活

马斯克还未正式接手推特,员工已经迫不及待想要得到一些答案。

苹果公司“社交提醒”专利获授权,排名第七

近日,苹果公司社交提醒专利获授权。摘要显示,本发明描述了用于基于电子设备的用户之间的社交交互提供提醒的技术。社交提醒可被设置为基于

今日播报!奇点云、GrowingIO联手后的“第一枪”:打造跨境工具国产替代 | Morketing解读

奇点云收购了GrowingIO,这是2022年行业内第一个大规模合并案。

每日视讯:IE浏览器退役 曾经的王者为何沦为“前浪”

在巅峰时刻曾占据全球95%以上浏览器市场份额的,IE浏览器将正式退出舞台。

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个

吉利几何EX3功夫牛高居榜首,4月投诉量230起

近日,车质网发布了2022年4月车型投诉排行八卦(前30名),其中有不少产品的出现属实让人没想到。具体来看,吉利几何EX3功夫牛高居榜首,4月

“说好了未达到目标全额退款,结果都是骗人的!”

春天不减肥,夏天徒伤悲。一波减肥大军抱着坚定的信念踏上征途,发现身边各式各样的高端减肥训练营正打着健康减肥封闭管理保质保量包吃包住