全球快看点丨AI推理应用向边缘化设备迁移,GDDR大展身手

2023-06-01 11:03:18   来源:商业新知网

随着ChatGPT的横空出世,让基于大模型类的人工智能技术成为热点,国际国内的厂商都相继推出了自研的大模型AI产品。而这些大模型应用主要由两个任务组成,即训练和推理。完成这两个任务的关键就是数据,大量的数据。


(资料图)

以ChatGPT为例,在ChatGPT3时,它所需要的训练参数为1750亿个,而到ChatGPT4,据称训练参数已经增长至数万亿个。

人工智能应用的快速发展,让需要处理的数据量也急剧增加,对应的处理这些数据的算力也增长显著。“但是如果带宽上的进步无法改善,即使算力增长了,两者之间则无法实现匹配。”Rambus IP核产品营销高级总监Frank Ferro表示,“也就是说,在现有高算力的基础之上,很多的GPU资源其实并没有得到充分的占用和利用,这也就造成了现在的困境。”

Frank Ferro以AI模型的两大任务为例,人工智能模型在训练时,需要录入大量数据进行分析,包括语音和视频等数据。在把这些数据录入到人工智能的训练系统后,然后去训练它们识别不同的图像或语音。完成这一任务需要消耗大量的算力,同时这也是一个非常耗时的过程。

人工智能模型在执行第二个任务推理时,这一过程对算力的需求可能没有训练过程那么大,但它对成本和功耗比较敏感。绝大多数推理的场景,都是应用于终端设备、消费者电子产品或者边缘设备等,尽管对带宽的需求有所下降,但是对成本的因素会变得更加敏感。

AI推理应用向边缘端转移

目前人工智能发展的一个重要趋势是AI的推理越来越多地向边缘设备进行转移和集成,即在云端完成对AI模型训练后,推理将会在边缘设备上实现。Frank Ferro表示:“这一趋势可以带来许多优势,如需要传输的数据量大幅减少,边缘设备的性能也获得提升,并且延迟也会下降。”

此外,随着AI推理应用不断向边缘端迁移,经过训练的系统还可以实现更快的处理速度。而在这个趋势下,GDDR6有了用武之地,它是帮助边缘端更好处理数据的更理想方案。

GDDR、DDR和LPDDR各有千秋

GDDR中的G代表的是graphic,即图像,顾名思义,它大多是面向图形处理方面的应用。然而,因为它具有的一些技术优势,它的应用逐渐开始向一些非图形应用转变,如人工智能和机器学习,还有一些网络应用等。

尤其对于人工智能应用,因为需要处理和传输大量的数据,所以对于内存带宽的要求很高。GDDR6相较于其它存储产品,可以在成本和性能之间达到不错的平衡。

以DDR4为例,目前它的成本较低,但同时其运行速度也相对较慢,最高只能达到3.2Gb/s,而GDDR在几年前就已达到16Gb/s。“正因为GDDR具有的独特优势,越来越多客户开始探寻将GDDR6应用到他们的设计中。这也是GDDR6转变为非图形应用的重要契机和原因。”Frank Ferro解释道。

Frank Ferro表示,“DDR和GDDR的差别还是非常显著的,包括带宽、容量密度、速度以及功耗等,这两者之间都有着显著的差异。如果从客户诉求的角度来看,如果带宽是主要的标准和最重要的衡量因素,GDDR毫无疑问是最好的选择。但如果是从存储密度,也就是能够存储多少数据,以及对成本的敏感性来看,DDR则是更好的选择。”

而另一存储产品LPDDR,则更加关注功耗管理,DDR的数据存储密度会更高一点,而GDDR更关注于速度,这三者可谓各有千秋。

近期,Rambus推出了GDDR6 PHY新产品,提供最高可达24Gb/s的数据传输速率,能够为每个GDDR6内存设备带来96 GB/s的带宽。可以很好为人工智能/机器学习(AI/ML)、图形和网络应用提供具有高成本效益、高带宽的内存性能。

如下图所示,此次的GDDR6 PHY首次采用了双读写通道。据Frank Ferro介绍,双读写通道可以显著增加数据的传输速度和传输效率。双读写通道加起来就是32位的数据宽度,同时,GDDR6内存有8个这样的双读写通道,总共可以实现256位的数据传输宽度,所以能够带来非常大的数据传输速率的提升。

图:GDDR6内存接口子系统

结语

Rambus大中华区总经理Raymond Su总结道:“GDDR技术是在带宽、成本和方案复杂性各因素之间,提供了一个非常完美的折中技术方案。我们预计GDDR会应用在图形处理器,以及自动驾驶、AI人工智能、5G基础架构的应用中。Rambus的24Gbps GDDR方案的推出,为以上各个应用提供了更高级别的性能和更多的选择。”

关键词:

精彩阅读

全球快看点丨AI推理应用向边缘化设备迁移,GDDR大展身手

热点

随着ChatGPT的横空出世,让基于大模型类的人工智能技术成为热点,国际国内的厂商都相继推出了自研的大模型A

当前焦点!阿里达摩院解散数百人团队…

热点

掌握核心软硬件技术的阿里达摩院自动驾驶业务线重大调整,整个自动驾驶实验室将并入菜鸟集团。

萨摩耶云科技集团的8年磨砺与破局

热点

萨摩耶云科技集团AI大模型应用已落地金融、跨境电商垂直领域。

“iMR”呼之欲出,苹果能否开启“后iPhone时代”?

热点

5月31日凌晨,苹果总算是公布了WWDC的宣传海报,表示将会在6月6日凌晨1点正式开幕。

知名平台宣告破产,公司已注销!巅峰期曾有4亿用户 世界热资讯

热点

你曾经用过“快播”这个播放器吗?这个用户曾多达4亿的视频播放器,走向了终点。

“ChatGPT之父”等350名业内人士签署公开信并警告:AI可能灭绝人类

热点

人们对AI技术的发展和应用有了更加深入的思考与探讨。

斯坦福大学李飞飞团队新作:孪生掩码自编码器SiamMAE,刷榜视觉自监督方法

热点

SiamMAE在不依赖于数据增强、基于手工跟踪的前置任务或其他技术来防止表征崩溃的情况下,实现了非常有竞争

「问题少年」逆袭成资产350亿美元CEO!60岁黄仁勋或成LLM爆发背后最大赢家 世界滚动

热点

上周六,仅仅在一天内,英伟达的市值就暴涨了超2000亿美元,震惊了美股市场。

北森新品发布会,揭露了中国SaaS的真相|当前快讯

热点

作为一家赛道领先的企业,稳扎稳打又与时俱进的北森,很可能将进一步巩固自己的领先位置。

财富

世界微头条丨“三手”罗永浩,能否帮刘强东打好翻身仗?

资讯

“三手”罗永浩,能否帮刘强东打好翻身仗?,新朋友老朋友,如何雨露均沾

张一鸣的地产梦,又塌了一角 百事通

资讯

张一鸣的地产梦,又塌了一角,好梦易醒。

“应战”618,小红书派出“有故事的女同学” 今日精选

资讯

“应战”618,小红书派出“有故事的女同学”,第一次参加618的小红书,虽然不是电商“小白”,却属于“618“

机器人成为新市民:从幻想到现实的机器人友好型城市|世界速递

资讯

机器人成为新市民:从幻想到现实的机器人友好型城市,在不远的将来,会有哪些机器人和我们人类一起共同工作

天天通讯!DTC卖肉挣了40个亿,八年居然没融过一分钱

资讯

DTC卖肉挣了40个亿,八年居然没融过一分钱,​屠宰商的自我修养:空手套白狼。

首发丨磐易科技获奇绩创坛投资_每日讯息

资讯

首发丨磐易科技获奇绩创坛投资,本轮投资磐易科技将主要用于研发投入。

天天滚动:小朋友需要奥特曼卡牌,成年人相信光

资讯

小朋友需要奥特曼卡牌,成年人相信光,全中国的小孩都曾被他支配童年。

谁在疯抢头部主播?

资讯

谁在疯抢头部主播?,为何这些在抖音成长起来的主播,会纷纷转战淘宝?大主播的尽头是淘宝吗?

世界快看点丨马斯克需要中国

资讯

马斯克需要中国,时隔三年,马斯克再次高调访华。

【报资讯】低谷“窒息”四年,贾跃亭爬出深渊?

资讯

低谷“窒息”四年,贾跃亭爬出深渊?,FF成立以来的所有“反转”都来自于两点:公司对资金的渴求和贾跃亭对

当前焦点!阿里达摩院解散数百人团队…

掌握核心软硬件技术的阿里达摩院自动驾驶业务线重大调整,整个自动驾驶实验室将并入菜鸟集团。

萨摩耶云科技集团的8年磨砺与破局

萨摩耶云科技集团AI大模型应用已落地金融、跨境电商垂直领域。

“iMR”呼之欲出,苹果能否开启“后iPhone时代”?

5月31日凌晨,苹果总算是公布了WWDC的宣传海报,表示将会在6月6日凌晨1点正式开幕。

知名平台宣告破产,公司已注销!巅峰期曾有4亿用户 世界热资讯

你曾经用过“快播”这个播放器吗?这个用户曾多达4亿的视频播放器,走向了终点。

无锡市区各考点周边开辟临时停车场地 2612个停车位免费停|世界新消息

又到高考季。为利于考生出行,保障送考车辆顺利停放,5月31日市城管局公布了今年高考考点周边免费停车惠民

OPPO Reno10系列6月1日开售,支持50 应用断点续读_全球今头条

OPPOReno10系列将在6月1日正式发布,今天OPPO官方介绍了Reno10系列的功能:支持50应用断点续读,48个月久用

村晚的诗意翻译(村晚的诗意)-全球快报

1、译文:绿草长满了池塘,池塘里的水呢,几乎溢出了塘岸。2、远远的青山,衔着彤红的落日,一起把影子倒映

从世界智能大会 看智慧生活新图景

从世界智能大会看智慧生活新图景

全球快看:图片打印软件哪个好

今天来聊聊关于图片打印软件哪个好的文章,现在就为大家来简单介绍下图片打印软件哪个好,希望对各位小伙伴