机器学习三个时代的计算趋势

2022-04-22 15:40:02   来源:商业新知网

来源:AI前线

作者:Annu Kumari

译者:Phoenix

策划:凌敏

决定现代机器学习发展的三个基础是计算、数据和算法进化 (ML,机器学习),本文着眼于最易量化的元素的趋势。

在 2010 年之前,训练计算的发展与摩尔定律同步,每两年一翻;自 2010 年代初,引入深度学习以来,训练计算的速度已经加快,大约每六个月增加一倍;2015 年末,出现了一种新的趋势。

基于这些观察,机器学习的计算历史被划分为三个时代—— 前深度学习时代、深度学习时代 和 大规模时代。 本文总结了用于训练高级机器学习系统快速增长的计算需求。

趋 势

比较是在一个由 123 个里程碑式的机器学习系统组成的数据集上进行的,并标注了训练它们所需的计算量。在深度学习起步之前,有一段进展缓慢的时间,这种趋势在 2010 年加速,此后一直没有放缓。另外,在 2015 年和 2016 年,出现了大规模模型的新趋势,以比上一个时代快两个数量级的速度扩张。

来源: https://arxiv.org/pdf/2202.05924.pdf

过渡到深度学习

在深度学习出现之前和之后,人们注意到了两种不同的趋势机制。

此前,训练机器学习算法所需的算力是每 17 至 29 个月翻一番。之后,整体趋势加快速,每 4 到 9 个月翻一番。

根据摩尔定律,晶体管密度每两年翻一番(Moore,1965 年),通常简化为计算性能每两年翻一番——基本上符合前深度学习时代的趋势。目前尚不清楚深度学习时代何时开始,从前深度学习到深度学习时代的过渡没有明显的间断。此外,无论深度学习时代始于 2010 年还是 2012 年,结果几乎都不会改变。

来源:https://arxiv.org/pdf/2202.05924.pdf

大规模深度时代的趋势

数据显示,大规模型模型的新趋势始于 2015-2016 年,这种新趋势始于 2015 年底的 AlphaGo,一直持续到现在,大规模模型是由大公司训练的,更高的训练预算可能是打破先前的趋势的原因。

另外,常规规模模型受欢迎的程度并未受到影响,这一趋势在 2016 年之前和之后是相同的速度,每 5 到 6 个月翻一番,如下表所示。大规模模型的计算量增加的趋势明显放缓,每 9 到 10 个月翻一番。由于这些模型的数据有限,明显放缓可能是噪声的结果。

这一发现与 Amodei & Hernandez (2018) 和 Lyzhov (2021) 形成对比,前者发现 2012 年至 2018 年的倍增期为 3.4 个月,后者发现 2018 年至 2020 年的倍增期超过 2 年。以前的评估无法区分这两个独立的模式,因为大规模的趋势是最近才发展起来的。

来源:https://arxiv.org/pdf/2202.05924.pdf

结 论

研究结果与早期研究一致,这显示了训练计算更适度的规模。1952 年到 2010 年有 18 个月的倍增时间,2010 年到 2022 年有 6 个月的倍增时间,从 2015 年末到 2022 年的大规模新趋势,快了 2 到 3 个数量级,倍增时间为 10 个月。

总而言之,在前深度学习时代,计算进展缓慢,随着 2010 年进入深度学习时代,这种趋势加速了。在 2015 年底,企业开始生产优于趋势的大规模模型,如 AlphaGo,标志着大规模时代的开始。然而,这并不能确定区分大规模和常规规模的模型而形成模式。

在计算机教学中,硬件基础设施和工程师的作用越来越大,凸显了两者的战略必要性。获得巨大的计算预算或计算集群,以及应用它们的专业知识,已经成为前沿机器学习研究的代名词。

声明

来源 :AI前线 , RAD极客会推荐阅读,不代表RAD极客会立场,转载请注明,如涉及作品版权问题,请联系我们删除或做相关处理!

关键词: 机器学习 明显放缓

上一篇:
下一篇:
精彩阅读

机器学习三个时代的计算趋势

热点

决定现代机器学习发展的三个基础是计算、数据和算法进化(ML,机器学习),本文着眼于最易量化的元素的趋势。

用友商旅云:重构商旅服务,助力企业数智化创新

热点

企业需要通过智能商旅及费控服务平台,实现费用管控与效率的最佳平衡以及内外资源与系统的全面整合。

为企业出海“搭桥”,汇量科技靠什么出圈?

热点

以游戏行业为例,2021年中国手游热门出海市场中,美国市场收益超越了除日本以外其它所有市场收益之和。

与「看不见的手」掷骰子的人

热点

500亿管理规模,却没有KPI,不搞「内卷」。

无代码AI营销平台Mutiny完成5000万美元融资,老虎全球基金、Insight Partners领投

热点

无代码AI营销平台Mutiny完成5000万美元融资,老虎全球基金、InsightPartners领投。

上海联通等一等,兄弟公司爱心物资运来啦!克服物流受阻困难!

热点

自4月初本轮上海疫情暴发以来,报告阳性感染人数已经超过25万人,形势十分严峻,各类物资特别是防疫物资面临着巨大缺口。

5G分流比,这里率先突破40%!

热点

4月14日,杭州移动5G单日分流比(5G流量占全网流量的比重)达到40 01%。

联通被判侵权!排超联赛IPTV侵权“第一案”!

热点

近期,备受关注的“2019-2020中国女排超级联赛”维权案进行了二审宣判。

60岁华裔数学家将在美接受审判,被指控7项重罪,可能面临最高20年监禁

热点

60岁的华裔应用数学家XiaoMingqing将于下周进入本顿(Benton)的联邦法庭。

财富

当下自动驾驶商业化落地过程中的五大难点

资讯

当聊到自动驾驶商业化落地的时候,我们通常可能会想到Robotaxi、物流、矿山、港口码头、固定路线区域接驳、无人环卫、自主泊车等等。每一个

石头科技披露2021年年报及2022年一季报 净利润14.02亿元

资讯

4月21日晚间,石头科技披露了2021年年报及2022年一季报。年报显示,2021年石头科技实现营业收入约58 37亿元,同比增长28 84%;归属于上市公

致欧科技更新招股书,财务资料过期被交易所中止申报

资讯

随着移动互联网技术的发展,电商已成为人们购物的重要方式之一。作为世界工厂的中国,凭借着在供应链方面的优势,在亚马逊、ManoMano、Cdis

微信也有热搜榜了!内测“搜索发现”功能,可删除搜索词

资讯

现在各大新闻平台都有热搜榜,让用户一眼就能看到当前最火的内容。而一直标榜小而美的微信,似乎也要上线类似功能了。近日,有网友发现微信

天孚通信2021年净利润3.06亿元,同比增9.77%

资讯

苏州天孚光通信股份有限公司(以下简称天孚通信)昨日发布2021年年度报告。报告显示,公司2021年实现营业收入10 32亿元,较上年同期增长18 2%

第一台实现4096量子体积的商用量子计算机诞生

资讯

Quantinuum在寻求建造世界上性能最高的量子计算机方面达到了另一个里程碑。本周,Quantinuum系统模型H1-2的性能翻了一番,成为第一台实现40

工信部:坚决遏制囤积居奇、哄抬物价等不正当竞争行为

资讯

4月19日消息,针对近期新能源汽车和动力电池疯狂涨价的问题,工信部也作出了相关回应。据中国网报道,工信部新闻发言人罗俊杰在会上表示,

微软将Windows11和Android整合到一个部门

资讯

在一份新的职位列表中,微软已经证实它正在将其Android工作整合到一个名为"Android微软平台和体验"的部门。此举可能使Windows 11和Android

网信办:整治网络直播、短视频领域乱象

资讯

据网信办官网消息,按照2022年清朗系列专项行动安排,中央网信办、国家税务总局、国家市场监督管理总局自4月15日起,开展为期两个月的清朗

华联股份突曝利空,2021年预盈变预亏1.5亿元

资讯

4月15日、18日连续斩获两个涨停板后,华联股份(000882)突曝利空,2021年预盈变预亏。4月18日晚间,不少投资者在华联股份股吧表示,玩完、准

用友商旅云:重构商旅服务,助力企业数智化创新

企业需要通过智能商旅及费控服务平台,实现费用管控与效率的最佳平衡以及内外资源与系统的全面整合。

为企业出海“搭桥”,汇量科技靠什么出圈?

以游戏行业为例,2021年中国手游热门出海市场中,美国市场收益超越了除日本以外其它所有市场收益之和。

与「看不见的手」掷骰子的人

500亿管理规模,却没有KPI,不搞「内卷」。

无代码AI营销平台Mutiny完成5000万美元融资,老虎全球基金、Insight Partners领投

无代码AI营销平台Mutiny完成5000万美元融资,老虎全球基金、InsightPartners领投。

上海联通等一等,兄弟公司爱心物资运来啦!克服物流受阻困难!

自4月初本轮上海疫情暴发以来,报告阳性感染人数已经超过25万人,形势十分严峻,各类物资特别是防疫物资面临着巨大缺口。

欧菲光:公司8P镜头项目已研发成功,目前处于试产阶段

曾经为苹果提供镜头模组的欧菲光今日在互动平台表示,公司团队历经多年技术攻坚,突破高端镜头技术壁垒,一亿像素7P光学镜头已量产,长焦镜

支付宝:处置69375个违规账号和参与“跑分”的账号

4月19日下午,支付宝安全中心官方发布了 关于持续打击电信网络诈骗、租售账号等违规行为的公告 。为保障用户账户安全,营造清澈、安全的

华润啤酒频现“超标排放”环保问题遭罚款

4月18日,北京商报记者在聊城市生态环境局注意到,华润雪花啤酒(聊城)有限公司(以下简称雪花聊城公司)因涉嫌超标排污被聊城市生态环境局罚

Eurocom推出15.6英寸笔记本电脑工作站

Eurocom 正推出 15 6 英寸的 Raptor X15 Mobile Supercomputer,该工作站采用 LGA1700 插槽的英特尔第 12 代桌面处理器。通过最

帅丰电器发布2021年年报,净利润同比增长26.95%

4月13日,帅丰电器(605336)发布2021年度报告,报告期内公司实现营业收入977,641,254 43元,同比增长36 93%;归属于上市公司股东的净利润246,

Stellantis集团与标致雪铁龙荷兰财务公司达成转让协议

4月13日,Stellantis集团宣布,神龙汽车有限公司(以下简称神龙公司)和Stellantis集团旗下Banque PSA Finance的全资子公司标致雪铁龙荷兰