从标准到开源,我看到阿里大淘宝技术的“创新担当”

2022-04-08 09:51:37   来源:商业新知网

这几年,中国科技力量在国际标准舞台上,取得越来越多的成绩。除了在5G、6G等移动通信领域成为创新主力军,笔者近期关注到中国网络通信标准与开源多方面的重要进展。

一是在今年1月17-28日,在国际电信联盟ITU相关会议上,由阿里巴巴(中国)有限公司联合国内学界提交的《可交互低延时互联网多媒体传输系统需求》(GRTN)国际标准立项提案正式获批通过。

二是今年1月7日,阿里巴巴大淘宝技术团队主导自研的IETF QUIC标准化协议库XQUIC正式开源。与当前其它开源QUIC协议栈不同的是,XQUIC提供了多路径QUIC接入能力,多路径QUIC技术由大淘宝技术与达摩院XG实验室联合研发。

而在去年11月,在国际标准组织IETF的相关会议投票中,多路径QUIC草案获得46票(总共48票)通过,并在今年2月被正式纳入为QUIC Working Group草案,开启了RFC(Request For Comments)之路。

GRTN提案获批、XQUIC正式开源,都是ICT领域重要进展。圈外朋友可能不了解,这两大标准技术到底是什么、为何重要?又意味着什么?

其实它们不只对阿里巴巴各项业务价值大,对直播的低时延互动、视频的稳定观看等用户体验价值更大。而且,我们从这两大技术上可以感受到,阿里巴巴注重最终用户体验,在积极践行科技创新,愿为行业发展做出贡献的决心!

GRTN:突破技术瓶颈,争夺国际话语权

GRTN的价值和优势,我们可以从以下几个层面分析。

首先,满足交互直播需求。

在5G普及下,直播购物、在线教学、高清直播、娱乐互动、线上会议等成为主流生活和工作方式。过去两年疫情又再度加速了这一趋势,更多人选择在线学习、工作、娱乐和消费,在直播中双向互动频繁。

但是很多人为直播出现的延迟、卡顿所烦恼。与传统直播应用的单向流媒体传输不同,互动直播应用,如淘宝直播,需要超低延时的双向流媒体传输机制,以满足可交互性需求。

对此应该怎么办?互联网视频直播应用,通常利用内容分发网络(CDN)进行视频分发。然而,传统的CDN架构和协议限制,导致了端到端流媒体传输延时通常在5-10秒之间,无法满足互联网互动直播应用需求。

对此,阿里巴巴大淘宝技术等团队与学术界联合科研攻关,构建了网络状态认知的带宽区分估计模型,提出了强化学习驱动的交互视频流控方法,实现了高动态强时变网络下视频流畅传输。

其次,应用优势明显。

与国际主流的方法相比,采用新技术的直播视频卡顿率减少60.65%,视频吞吐量提高16.52%。该项研究成果连续三年发表于移动计算领域顶级国际会议ACM MobiCom。

为了有效降低直播的端到端延时,阿里基于分布式云平台创建了全球实时传输网络GRTN(Global Realtime Transport Network),并在2020年双十一期间首次启用GRTN。

据了解,GRTN采用层级网和对等网相结合的混合网络架构,媒体传输链路更短,全链路采用延时更低的基于UDP的RTC协议,并利用深度定制的动态路由、传输控制、边缘计算、双向实时信令网等机制,达到了1秒以内的超低延时流媒体传输能力,能够保证大规模互联网交互式视频直播的服务质量。

从5-10秒的互动直播延迟降低到1秒以内,GRTN可谓是极为出色的技术突破。业界虽然在推出类似形态的产品,但相比GRTN,其系统架构和媒体系统还没有完全的融合,只是多个系统和服务的叠加,并没有完成新系统的改造升级。

再次,技术生态发展很快。

经过阿里多个团队多年的协作研发和打磨,GRTN已经应用到淘宝、钉钉、优酷、Lazada等多个平台的低延时直播业务中,并帮助众多国内外用户提升互联网直播体验。

目前,GRTN所服务的域名数已达到数千个,基于GRTN构建的直播应用包括电商直播、视频会议、在线教育、视频通话、云游戏等全场景互联网直播业务。

面向行业和未来,大淘宝技术团队的技术专家吴鹏强告诉笔者,为了将GRTN的设计理念和新一代CDN系统架构方案,普惠给视频领域公司和从业者,大淘宝技术因此推动将GRTN系统的架构和实现做成标准,在给业界提供解决方案的同时,也希望视频行业一起参与丰富和完善整个标准的内容,加速整个视频行业在低延时传输方面的软硬件的技术和体验的升级。

大淘宝技术团队技术专家吴鹏强

最后,提升我国标准话语权。

从生态角度看,GRTN是联合国内学界进行的关键技术创新,致力于实现在流媒体技术领域对欧美国家的弯道超车。

以GRTN技术为基础,阿里巴巴(中国)有限公司和学界在2022年1月的ITU-T SG16全体会议上成功立项了《可交互低延时互联网多媒体传输系统需求》国际标准,获得了中国电信、中国联通、中兴通讯等国内传统CDN技术标准主导单位的支持,并在会上与英国、日本、加拿大、巴西等国代表进行了深入的交流和激烈的讨论,最终赢得了相关国际同行的认可和支持。

该国际标准项目的成功立项,标志着我国在流媒体技术领域迈出了重要的一步,为争夺新一代多媒体传输系统国际标准制定的话语权打下了重要基础。

XQUIC:具备四大优势,填补国内开源空白

与GRTN类似,我们也可以从需求、创新、部署、生态等角度获得XQUIC(阿里自研的IETF QUIC标准化传输协议库)的价值。

首先,短视频等业务渴求稳定网络。

你是否曾经经历过看视频刷剧刷的正嗨,突然发现视频变得很卡,怎么重连也没有用?当你打着语音电话从商场走向停车场,电话一下子就断了,必须要拨号重连?当你想要争分夺秒地在高速上办公,但是发现邮件怎么也发不出去?

上述问题就是因为这些场景的网络信号太弱。由于无线网络天生的频谱限制,无线信号的覆盖不足,多用户间的相互竞争资源,高移动场景下频繁的基站切换等等,都可能导致“弱网”的频发。克服弱网对于用户的体验至关重要。

为此,大淘宝技术团队与达摩院XG实验室,共同研发了MPQUIC多路传输技术(基于XQUIC协议库),希望从根本上解决了由单路径弱网带来的用户体验问题,也解决5G中前期网络覆盖不足挑战。

据悉,MPQUIC技术基于阿里巴巴提出的IETF多路径QUIC草案框架实现(目前已经作为工作组草案进入IETF QUIC WG)。MPQUIC技术主要通过在网络传输层实现多径传输,本质是通过多条网络链路(5G/4G、WiFi)提升传输吞吐量和鲁棒性(网络的稳定和健壮程度)。

其次,XQUIC具备四大技术创新优势。

要想了解XQUIC优势,我们可以追溯到QUIC(基于UDP的可靠传输协议)。谷歌2013年提出了QUIC。2016年,QUIC在标准组织IETF开始标准化。目前QUIC已成为移动互联网中最核心和关键的传输技术,超过50%的Chrome浏览器流量和75%的Meta流量都在使用QUIC进行传输。

QUIC有多家企业进行开源实现,阿里巴巴从2014年开始关注QUIC,开始迈向标准协议+自研实现的道路,从QUIC技术的追随者,快速成长为QUIC技术的创新者,并在多路径QUIC技术实现上取得了突破。

多条路径同时传输数据并不容易。业界此次前有基于传统内核态多路径解决方案MPTCP等多路径实现,如Apple的Siri、Apple Music等场景,还有荣耀的Link Turbo。但MPTCP等迟迟未能被业界大规模采用,除了内核态部署带来的复杂度之外,多路传输的核心问题MP-HoL一直没有得到非常好的解决。

基于传统MPTCP的方案,在路径切换、选择和聚合时存在明显的性能瓶颈,不能完全解决如下问题:由于是内核实现而无法为应用场景提供定制优化;异构网络带来带宽不可预测;带宽利用效率低、流量成本高。

相较于传统的MPTCP,而阿里主导设计和实现的MPQUIC,基于quic-v1进行的最小扩展,在兼顾多路径传输效率的同时最小化实现成本,具有用户态部署、高性能、低成本以及轻量化等四大优势。

MPQUIC除了有易于部署迭代等优势,同时作为用户态协议栈,也更容易结合应用层需求进行调度算法和Reinjection策略的优化。

据悉,在淘宝移动端应用测试结果表明,在弱网下,MPQUIC技术可以实现短视频分片平均下载耗时减少15.03%,视频分片下载弱网耗时降低25.28%。此外,在旅途中,使用MPQUIC的用户可以同时利用WiFi热点与手机LTE,在高移动性场景下仍然保持流畅的视频观看体验。

再次,多处部署,久经考验。

阿里巴巴大淘宝技术团队在2018年底开始研发XQUIC实现,2021年8月正式对外发布。如今,XQUIC针对IETF QUIC协议的实现,已相对成熟,在淘宝体系里也做了大规模应用来验证其稳定性,在今年1月正式开源。

据悉,目前淘宝里面的导购场景RPC请求、短视频下载与文件上传等核心场景中应用了XQUIC实现网络加速。淘宝短视频和逛逛等应用在今年逐步使用XQUIC。此外,阿里内部其他APP,如闲鱼、AliExpress等,也开始尝试使用XQUIC进行网络体验优化。

阿里巴巴大淘宝技术团队也在应用实践中,不断做新功能迭代/AB实验和Congestion Control算法调优等工作。

最后,正式开源,繁荣生态。

在将IETF QUIC在移动端上进行较多应用后,阿里巴巴正在弥补当前国内缺少相对成熟的开源实现这一空缺。现在较成熟的开源实现大部分还是以 Google、Meta等国外企业为主。阿里希望通过开源等方式,也可以为行业尽一份微薄之力。

阿里XQUIC技术面向的业务域,包括交易导购、视频传输和虚拟现实等。谈及未来,大淘宝技术团队的技术专家刘彦梅告诉笔者,希望更多互联网大厂参与到QUIC技术建设中,来提供更多应用场景对协议栈能力设计的需求输入。

大淘宝技术团队技术专家刘彦梅

对于XQUIC开源社区,后续也计划把非可靠传输/半可靠传输场景纳入研发Milestone,将结合社区开发者诉求,逐步纳入更多传输需求场景。

笔者观察:大淘宝技术成国内技术创新重要力量

业界有句话,一流企业做标准,二流企业做品牌,三流企业做产品。可见技术标准和技术实现的重要性。在互联网领域,网友说阿里巴巴大淘宝各项业务是商业创新,对行业创新贡献小。

事实真是如此吗?从这GRTN以及XQUIC两个自研创新可以看出,阿里巴巴并非如业界所说的那样。

比如作为阿里巴巴新零售技术的王牌军,大淘宝技术支撑淘宝、天猫核心电商业务,服务9亿用户与各行业1000万商家,保障了13次双十一购物狂欢节的成功。

大淘宝技术成为内部业务的定海神针,也在将技术能力,赋能给更多行业企业,提升用户体验。通过调研和交流,我们得到如下结论。

其一,阿里大淘宝技术牵头推动的GRTN以及XQUIC,相比传统技术具备较多优势,在直播交互等场景表现出色,在标准层面有新进展,将提升更多用户体验,加速行业升级。

其二,我们在撰文过程中,不只是感受到GRTN以及XQUIC的优势,更是看到大淘宝技术在网络技术方面的巨大投入,为行业标准形成贡献力量,并在主动将先进技术开放,赋能给更多企业。

其三,能力越大,责任越大。我们期望行业领头者探索科技研究的无人区。大淘宝技术的创新投入巨大,研究内容既有广度,也有深度,触达网络底层。这个深度以前很少有互联网企业愿意投入。

其四,这些网络底层投入和工作,不仅对阿里多个淘宝直播等业务带来了技术支持和商业价值,更重要是在外部获得标准组织肯定,为更多互联网、视频、终端等生态内企业带去价值,推动直播、短视频等行业发展。

其五,从大淘宝技术,我们看到阿里巴巴的技术创新,更加注重用户真实体验,是从用户需求层发力(而非网络内核层面),进行软件算法、调度算法优化,发挥自身to C优势。

其六,GRTN以及XQUIC在阿里的业务中应用多,在其他厂商还比较少,还走在标准化、规模应用的道路上,要经历一个循序渐进的过程,未来几年在更大范围使用还有一些挑战。

基于此,我们呼吁更多视频、直播等软硬件领域的企业和从业者,可以更多关注GRTN以及XQUIC的发展,为新技术的规模落地、为新体验普惠大众而建言献策。

关键词: 阿里巴巴 技术团队

上一篇:
下一篇:
精彩阅读

从标准到开源,我看到阿里大淘宝技术的“创新担当”

热点

这几年,中国科技力量在国际标准舞台上,取得越来越多的成绩。

关于加强我国网络信息文化安全及搭建海外社交平台发声渠道的提案

热点

为了进一步促进这些MCN机构发挥作用,也可以将这些机构进行备案。

人工智能,洞悉未来!

热点

在文化领域的注脚里,人工智能留下过一个又一个力透纸背的叹号。

为什么wifi信号老“罢工”?原来是它的“锅”!

热点

如今WIFI已经成为日常必备,正所谓“头可断血可流,但网络不能没有。

剥开“洋葱模型” 是层层递进的安全创新能力

热点

在亚马逊云科技看来,云中安全必须要像一个“洋葱”一样,具备多层的防护能力。

印度版今日头条母公司估值已达 50 亿美元

热点

针对这笔资金的用途,VerSe表示将用来进一步提升其技术能力。

“测完MBTI、星盘和八字,感觉我马上能月入10万了”

热点

不确定和风险系数越来越高的社会,“洞悉自我”和“洞察未来”是稀缺资源。

物联网板块营收成倍增长,为海尔生物打开增长空间

热点

过去几年中,海尔生物的业绩展现出强劲的增长态势,主要得益于近年来积极推进物联网方向转型,带来了营收与盈利能力高速增长。

用友与中智关爱通达成战略合作

热点

用友与中智关爱通达成战略合作。

大厂的B面

热点

看不到头,又一眼就能看到头。

财富

曾是“家居十大质量黑榜”主角的板材巨头佳诺威申请获证监会受理

资讯

曾是家居十大质量黑榜主角的板材巨头佳诺威,品质问题未能阻止其向资本市场迈进的脚步。2022年4月6日,北京商报记者获悉,佳诺威集团股份有

六部门发文:推动文旅融合赋能乡村振兴

资讯

4月7日,文化和旅游部、教育部、自然资源部等六部门发布关于推动文化产业赋能乡村振兴的意见(以下简称《意见》),提出文旅融合赋能是推动文

苹果的节奏晚了些?iOS16系统测试机出现活跃迹象

资讯

当前,iOS 15系统已经推进到15 4 x,从版本号来看,已经进入生命期中后段。事实上,按计划苹果会在6月份左右举办WWDC22大会(据说邀请函下

2021年显卡市场出货规模超500亿美元同比增加29.5%

资讯

尽管显卡价格在去年多数时候均处于高位,可这似乎并未影响到市场的消费热情。Graphic Speak的最新数据显示,2021年,整个显卡市场的出货规

前两个月我国服务贸易逆差收窄近60%

资讯

今年1-2月,我国服务贸易继续保持较好增长态势。4月6日,商务部网站公布了我国服务贸易的最新情况,数据显示,今年前两个月,我国服务进出

产能占全球80%!比利时冷却剂工厂被无限期关闭

资讯

半导体生产是个复杂的过程,需要各种各样的设备及材料,哪一个环节出问题都有可能影响全球半导体生产,日前3M公司位于比利时的冷却剂工厂被

deepin20.5发布:新增人脸识别功能模块

资讯

作为全球排名最高的国产团队Linux发行版,深度操作系统(deepin)20 5正式发布,升级Stable内核至5 15 24,修复底层漏洞,进一步提升系统兼容

Intel发布Arc锐炫游戏显卡24年后再次杀入高性能市场

资讯

Intel昨晚正式发布了Arc锐炫游戏显卡, 这是i740独显发布24年后再次杀入高性能GPU市场 ,开始跟AMD及NVIDIA正面刚了,意义重大。Intel的

苹果公司发布第16份报告:将提供5000万美元的员工发展基金

资讯

苹果公司今天发布了其第16份年度《我们供应链中的人与环境》报告。这份文件以前被称为"供应商责任报告",详细介绍了苹果公司及其供应商如何

英特尔推出首个支持AV1视频编码的GPU硬件供应商

资讯

AV1 是一个非常高效、开源、免版权费的视频编解码器,和 HEVC(H 265)和 AVC(H 264)等竞争。在流媒体和视频平台加速整合 AV1 的同时,

关于加强我国网络信息文化安全及搭建海外社交平台发声渠道的提案

为了进一步促进这些MCN机构发挥作用,也可以将这些机构进行备案。

人工智能,洞悉未来!

在文化领域的注脚里,人工智能留下过一个又一个力透纸背的叹号。

为什么wifi信号老“罢工”?原来是它的“锅”!

如今WIFI已经成为日常必备,正所谓“头可断血可流,但网络不能没有。

剥开“洋葱模型” 是层层递进的安全创新能力

在亚马逊云科技看来,云中安全必须要像一个“洋葱”一样,具备多层的防护能力。

印度版今日头条母公司估值已达 50 亿美元

针对这笔资金的用途,VerSe表示将用来进一步提升其技术能力。

中保研汽车技术研究试验中心发布7款车型测评结果

在中国保险行业协会的指导下,在中保研汽车技术研究院有限公司和通用技术中国汽车工程研究院股份有限公司的支持下,中保研汽车技术研究试验

机器人时代,座舱的人机交互将走向何方?

智能汽车是机器人的第一形态,对应的智能座舱也引领了机器人时代人机交互发展的新方向。历史上,每一次交互方式的改变,都重塑了智能设备的

研究公司:2021年全球电信市场资本支出同比增长9%

来自市场研究公司Dell& 39;Oro Group的最新报告显示,初步估算表明,2021年全球电信市场资本支出(包括无线和有线电信投资总和)按名义美元

为户外劳动者提供便利 重庆已建成665座“劳动者港湾”

  中新网重庆4月22日电 (韩璐 王雪宇)记者22日从重庆市城市管理局获悉,2020年重庆市已建成“劳动者港湾”665座。今年,重庆还将继续建

沈阳警方侦破特大贩卖毒品案 抓获88名涉毒违法犯罪嫌疑人

  中新社沈阳4月22日电 (王景巍)沈阳市公安局22日发布消息,近日,在中国公安部和辽宁省公安厅的指导协调下,历经9个多月,沈阳市公安局

上海警方侦破特大制售假普洱茶案 市场价值高达18亿元

  中新网上海4月22日电 (记者 李姝徵)记者22日从上海警方获悉,2021年3月,上海警方全链条侦破一起销售假冒知名品牌普洱茶案,捣毁制售