30分钟音频当数据,任何音色零门槛生成,产品免费体验

2023-06-09 13:23:37   来源:商业新知网

这年头,万物都可以是AI生成的,

从文字,到图片,亦或是目前火热的虚拟主播,

设想下,你在直播平台看到的虚拟主播背后,有可能是这样的画面。


(资料图片仅供参考)

连声音都可以是AI生成的,什么时候变声器已经能做到这个地步了,带着一丝震惊,我们深入了解了这款产品背后的技术团队,并得知了一个更加惊人的事实:

免费使用 ;

仅需30分钟音频 ;

任何人就可复刻任何人声 ;

这意味着在未来声音合成的门槛几乎为零,而这项技术是由国内一家年轻的AI初创公司格子互动自研的大饼AI变声,基于深度学习实现的 声音转换 (Voice Conversion) 。

以往我们使用的传统变声器需要根据输入声源不断调整参数,而Voice Conversion可以提供更稳定的声音输出,让任何输入人声都高质量的转换成目标音色 (Any to One) 。

在Diffusion (图像) 和GPT (文字) 卷到飞起的同时,AI语音生成这片蓝海正在逐渐成为AIGC领域的下一个热点。

近期山东文旅宣布为旗下主持人 海蓝 生成了数字分身,并使用大饼声音引擎的产品为其定制了声音皮肤,引发了大量关注。

抑扬顿挫,委婉洒落。通过VC输出的声音极其细腻地还原了真人的语气、情绪和声音特征。

并且相较于非实时场景下对完整音频的声音转换,实时声音转换有着更加丰富的落地场景。在RTC领域,如直播、虚拟人等场景,变声的结果需要在很短的延迟内实时流式的生成,才能保证音画同步。

大饼团队针对这一点,通过对模型进行不断优化,使得 实时转换延迟低于50ms ,在实际使用过程中几乎感受不到。

△ 大饼实时变声流程示意

大饼已经以插件形式登录声网云市场,在RTC领域受到了不少关注和讨论。

微信Steam都能用

目前,大饼变声已经适配了市面上大部分社交娱乐应用和游戏。

不仅可以接入到 微信、腾讯会议 等社交办公软件中,同样支持在 英雄联盟、CSGO、狼人杀、Steam 等游戏和游戏平台中同步使用。

无论游戏还是社交,都可以用各种声线来戏弄好友。

当然,这不一定是“大饼变声”最正确的打开方式…

一方面,变声带来了更丰富的可玩性和趣味性,另一方面,变声也保障了用户在线上社交时的 隐私安全性 ,免去不必要的骚扰和歧视。

例如不少女性玩家曾经在玩游戏因为性别而被对手,甚至队友攻击,选择Carry角色却被认为不够格。

在线上游戏尤其是MMORPG等角色扮演游戏中,人们往往展现出和现实生活里截然不同的性格和人格,而这正是因为这些玩家游玩网络游戏的本质是希望在游戏里找到并扮演最完美、最理想的自己。

AI变声的出现可以让玩家在游玩过程中使用符合自己虚拟人设的声音皮肤,从而更好的带入角色,沉浸于游戏世界中。

就在6月2日,大饼推出了首个Windows实时变声客户端,用PC搜索 “大饼AI变声” ,即可前往官网 免费下载试用 。客户端内置丰富的音色选择,并且支持48k的高清音质输出。

△ 拥有萝莉、御姐、正太等200+音色

我们上手体验了一番,无需任何前置调试,一键就能完成变声。

△ 客户端演示

所以,这样一款好用易上手的AI变声工具背后究竟用到了哪些技术,而相比于以往传统的变声器,又有哪些不同呢?

AI变声将取代传统变声器

传统软件变声是对语音信号进行处理,通过改变输入声音频率,进而改变声音的音色、音调。

由于每个人的音色特征不同,需要不断调整声音参数,而这也难以保证输入音色效果稳定。

△ 传统变声器的工作原理

而声音转换(Voice Conversion)是根据发声者的说话音频,将音频中的音色转换到目标发音人上,并保持说话内容、韵律情感等一致。将发声者的情感、抑扬顿挫、停顿等一并保留并输出:

输入样例—中文:

声音转换—中文:

换一种语言也能自然地转换,以日语为例:

输入样例—日语:

声音转换—日语:

通过AI输出音色相较于传统变声器,有几大明显的优势:

能获得实时变声+声音克隆的效果,不需要使用者夹着嗓子发声,不需要因为声音不同而重新调试参数。任何人开启引擎,都可以实时稳定变声目标声音。

并且在输出声音的质量上,也远远优于传统变声器。保留情感,抑扬顿挫的同时,支持多语种、方言的声音转换。

并且AI变声不再需要物理机架以及声卡这些额外的专业设备支持,大饼自带虚拟声卡,保证了傻瓜式的操作流程,将使用门槛和成本降到了最低。

不仅仅能换音色,还能消除口音,增强情感,甚至模仿各式各样的腔调。

事实上,不少科技大厂和巨头纷纷组建AI语音研究团队,朝着语音合成的方向暗暗发力。

大饼声音引擎,则是目前为止最集中在数字声音资产方向的生成式模型产品。其背后的AI初创公司 格子互动 ,成立于2021年。

创始人 凌天格 是一位毕业于美国卡耐基梅隆计算机系的00后,团队的CTO 徐颖 则是前阿里巴巴语音算法专家,而CMO 刘建俊 曾任职于新浪、盛大及恺英网络VP,有多年的互联网经验。

这支新老搭档的团队在短短一年半的时间内前后获得 源码资本 与 奇绩创坛 的两轮投资。

团队专注于 声音领域 ,语音合成的研究与商业化。在AIGC还未成为热点的2021年就已经决定专注做声音的AI生成。而这个颇具魄力,在业内已经小有名气,极有“少年感”的团队, 平均年龄只有26岁 。

短短半年时间,大饼变声引擎完成了多项技术的突破和上线,发布了PC实时变声客户端、以SDK形式登录声网云市场。

AIGC的价值就是把创作的门槛降到最低。试想在虚拟与现实逐渐交融的未来,每个人都可以免费、零门槛地拥有自己想要的声音,并在游戏、元宇宙等场景中使用符合自己虚拟人设的声音进行社交互动,自由开口,或许我们距离真正的“沉浸式”,又更近了一步。

*本文系量子位获授权刊载,观点仅为作者所有。

关键词:

精彩阅读

30分钟音频当数据,任何音色零门槛生成,产品免费体验

热点

AIGC的价值就是把创作的门槛降到最低。

混改迎来转折之际,联通副书记赴云南调研!-天天快看

热点

6月2日,王俊治与玉溪市委常委、副市长段登位会见,双方围绕服务地方数

粤港澳大湾区大数据研究院副院长杜自然:数据要素市场撮合探索-焦点日报

热点

论坛汇聚了数据行业企业、机构和专家,携手共叙友谊,共创数据万亿蓝海

共建产业新生态丨山石网科与超聚变完成生态互认证工作

热点

山石网科与超聚变完成生态互认证工作。

高考数学轮战AI大模型,结果完全想不到

热点

据说,GPT-4做这种题只有0 1%的概率生成的结果完全正确。

天天新资讯:高考过后,警惕AI专业陷阱

热点

在这个信息爆炸的时代,“知其然而不知其所以然”也许不应该再是一个贬

华为推出首款全栈自主数据库 GaussDB,你怎么看? 世界资讯

热点

数据库内核开发的技术难度很大,哪怕开发团队对内核架构与机制的制定上

当前速读:碾压LLaMA的最强开源大模型居然来自阿联酋,OpenAI和HuggingFace为它吵了起来

热点

一个名为Falcon40B的模型,突然成为了huggingface“开源”大模型排行榜

天天快消息!导航信息丨创新多点迸发!物联网重塑产业创新格局

热点

从感知、通信、平台到行业应用全链条呈现创新“超速效应”。

高考作文怎么写?AI大模型一较高下 头条焦点

热点

我仍在旅途中,我不知道它会在哪里结束。但是,我不再害怕旅途。我不再

财富

《变形金刚》40岁,活成了一部“超级IP消亡史”_世界滚动

资讯

《变形金刚》40岁,活成了一部“超级IP消亡史”,《变形金刚7》是关键一

马斯克嘲讽苹果AR头显:花3500美元买它,不如花20美元买包致幻蘑菇

资讯

马斯克嘲讽苹果AR头显:花3500美元买它,不如花20美元买包致幻蘑菇,马

当前聚焦:小鹏G6开启预售,售价22.5万元起

资讯

小鹏G6开启预售,售价22 5万元起,6月9日,小鹏汽车宣布「超智驾轿跑SUV

AI初创公司Cohere宣布2.7亿美元C轮融资 全球热资讯

资讯

AI初创公司Cohere宣布2 7亿美元C轮融资,当地时间6月8日,人工智能初创

全球滚动:比亚迪F品牌定名方程豹,预计年内发布

资讯

比亚迪F品牌定名方程豹,预计年内发布,6月9日,比亚迪旗下专业个性化品

争夺苹果汽车-动态

资讯

争夺苹果汽车,缺的不止是钱。

丰田将在美密歇根州研发总部新建汽车电池实验室,投资额近5000万美元|天天微头条

资讯

丰田将在美密歇根州研发总部新建汽车电池实验室,投资额近5000万美元,

加拿大AI创企Cohere融资2.7亿美元,甲骨文英伟达参投

资讯

加拿大AI创企Cohere融资2 7亿美元,甲骨文英伟达参投,据报道,加拿大人

人类与ChatGPT合作设计采摘机器人

资讯

人类与ChatGPT合作设计采摘机器人,6月9日,荷兰代尔夫特大学和瑞士洛桑

【焦点热闻】抖音练拳,挥向美团

资讯

抖音练拳,挥向美团,美团正式对抖音宣战。

混改迎来转折之际,联通副书记赴云南调研!-天天快看

6月2日,王俊治与玉溪市委常委、副市长段登位会见,双方围绕服务地方数

粤港澳大湾区大数据研究院副院长杜自然:数据要素市场撮合探索-焦点日报

论坛汇聚了数据行业企业、机构和专家,携手共叙友谊,共创数据万亿蓝海

共建产业新生态丨山石网科与超聚变完成生态互认证工作

山石网科与超聚变完成生态互认证工作。

高考数学轮战AI大模型,结果完全想不到

据说,GPT-4做这种题只有0 1%的概率生成的结果完全正确。

天天新资讯:高考过后,警惕AI专业陷阱

在这个信息爆炸的时代,“知其然而不知其所以然”也许不应该再是一个贬

膝盖中箭的意思(膝盖中箭)

今天小编宋丹来为大家解答以上的问题。膝盖中箭的意思,膝盖中箭相信很

广西壮族自治区柳州市2023-06-06 18:41发布雷电黄色预警-天天精选

一、广西壮族自治区柳州市天气预报1、鹿寨县气象台2023年6月6日18时38

欣灵电气:6月8日融资买入268.55万元,融资融券余额2634.88万元

6月8日,欣灵电气(301388)融资买入268 55万元,融资偿还362 22万元,

小米要泡多久 小米要浸泡多久才能煮

1、小米要泡30分钟左右,时间不能太长,也不能太短。太短的话,浸泡不

天天信息:辽宁省葫芦岛市2023-06-06 21:08发布大风蓝色预警

一、辽宁省葫芦岛市天气预报1、大风蓝色预警信号。2、预计6日21时到7日

青岛奥迪斯生物科技有限公司环评(青岛奥迪斯生物科技有限公司)-天天信息

岛奥迪斯生物科技有限公司环评,青岛奥迪斯生物科技有限公司这个问题很