焦点热讯:Batch大小不一定是2的n次幂!ML资深学者最新结论

2022-08-02 09:59:47   来源:商业新知网

Batch大小不一定是2的n次幂?


(相关资料图)

是否选择2的n次幂在运行速度上竟然也相差无几?

有没有感觉常识被颠覆?

这是威斯康星大学麦迪逊分校助理教授Sebastian Raschka (以下简称R教授) 的最新结论。

在神经网络训练中,2的n次幂作为Batch大小已经成为一个标准惯例,即64、128、256、512、1024等。

一直有种说法,是这样有助于提高训练效率。

但R教授做了一番研究之后,发现并非如此。

在介绍他的试验方法之前,首先来回顾一下这个惯例究竟是怎么来的?

2的n次幂从何而来?

一个可能的答案是:因为CPU和GPU的内存架构都是由2的n次幂构成的。

或者更准确地说,根据内存对齐规则,cpu在读取内存时是一块一块进行读取的,块的大小可以是2,4,8,16 (总之是2的倍数) 。

因此,选取2的n次幂作为batch大小,主要是为了将一个或多个批次整齐地安装在一个页面上,以帮助GPU并行处理。

其次,矩阵乘法和GPU计算效率之间也存在一定的联系。

假设我们在矩阵之间有以下矩阵乘法A和B:

当A的行数等于B的列数的时候,两个矩阵才能相乘。

其实就是矩阵A的第一行每个元素分别与B的第一列相乘再求和,得到C矩阵的第一个数,然后A矩阵的第一行再与B矩阵的第二列相乘,得到第二个数,然后是A矩阵的第二行与B矩阵的第一列……

因此,如上图所示,我们拥有2×M×N×K个每秒浮点运算次数 (FLOPS) 。

现在,如果我们使用带有Tensor Cores的GPU,例如V100时,当矩阵尺寸 (M,N以及K) 与16字节的倍数对齐,在FP16混合精度训练中,8的倍数的运算效率最为理想。

因此,假设在理论上,batch大小为8倍数时,对于具有Tensor Cores和FP16混合精度训练的GPU最有效,那么让我们调查一下这一说法在实践中是否也成立。

不用2的n次幂也不影响速度

为了了解不同的batch数值对训练速度的影响,R教授在CIFAR-10上运行了一个简单的基准测试训练——MobileNetV3 (大) ——图像的大小为224×224,以便达到适当的GPU利用率。

R教授用16位自动混合精度训练在V100卡上运行训练,该训练能更高效地使用GPU的Tensor Cores。

如果你想自己运行,该代码可在此GitHub存储库中找到 (链接附在文末) 。

该测试共分为以下三部分:

小批量训练

从上图可以看出,以样本数量128为参考点,将样本数量减少1 (127) 或增加1 (129) ,的确会导致训练速度略慢,但这种差异几乎可以忽略不计。

而将样本数量减少28 (100) 会导致训练速度明显放缓,这可能是因为模型现在需要处理的批次比以前更多 (50,000/100=500与50,000/128= 390) 。

同样的原理,当我们将样本数量增加28 (156) 时,运行速度明显变快了。

最大批量训练

鉴于MobileNetV3架构和输入映像大小,上一轮中样本数量相对较小,因此GPU利用率约为70%。

为了调查GPU满载时的训练速度,本轮把样本数量增加到512,使GPU的计算利用率接近100%。

△ 由于GPU内存限制,无法使用大于515的样本数量

可以看出,跟上一轮结果一样,不管样本数量是否是2的n次幂,训练速度的差异几乎可以忽略不计。

多GPU训练

基于前两轮测试评估的都是单个GPU的训练性能,而如今多个GPU上的深度神经网络训练更常见。为此,这轮进行的是多GPU培训。

正如我们看到的,2的n次幂 (256) 的运行速度并不比255差太多。

测试注意事项

在上述3个基准测试中,需要特别声明的是:

所有基准测试的每个设置都只运行过一次,理想情况下当然是重复运行次数越多越好,最好还能生成平均和标准偏差,但这并不会影响到上述结论。

此外,虽然R教授是在同一台机器上运行的所有基准测试,但两次运营之间没有特意相隔很长时间,因此,这可能意味着前后两次运行之间的GPU基本温度可能不同,并可能稍微影响到运算时间。

结论

可以看出,选择2的n次幂或8的倍数作为batch大小在实践中不会产生明显差异。

然而,由于在实际使用中已成为约定俗成,选择2的n次幂作为batch大小,的确可以帮助运算更简单并且易于管理。

此外,如果你有兴趣发表学术研究论文,选择2的n次幂将使你的论文看上去不那么主观。

尽管如此,R教授仍然认为,batch的最佳大小在很大程度上取决于神经网络架构和损失函数。

例如,在最近使用相同ResNet架构的研究项目中,他发现batch的最佳大小可以在16到256之间,具体取决于损失函数。

因此,R教授建议始终把调整batch大小,作为超参数优化的一部分。

但是,如果你由于内存限制而无法使用512作为batch大小,那么则不必降到256,首先考虑500即可。

作者Sebastian Raschka

Sebastian Raschka,是一名机器学习和 AI 研究员。

他在UW-Madison (威斯康星大学麦迪逊分校) 担任统计学助理教授,专注于深度学习和机器学习研究,同时也是Lightning AI的首席 AI 教育家。

另外他还写过一系列用Python和Scikit-learn做机器学习的教材。

关键词: 基准测试 运行速度

上一篇:
下一篇:
精彩阅读

焦点热讯:Batch大小不一定是2的n次幂!ML资深学者最新结论

热点

在神经网络训练中,2的n次幂作为Batch大小已经成为一个标准惯例,即64、128、256、512、1024等。

环球精选!报告:想学AI的学生数量已涨200%,老师都不够用了

热点

随着神经网络的卷土重来以及深度学习的蓬勃发展——让想学AI的学生越来越多,以至于大学里的老师都不够用了。

天天微资讯!阿里回应被列入“预摘牌”名单

热点

阿里回应被美列入预摘牌名单,将努力保持两地上市地位。

环球快消息!中国电信:天翼云已成为全球最大运营商云

热点

7月24日,第五届数字中国建设峰会·云生态大会在福州举行。

天天最资讯丨亮点提前看!广东电信IPTV全网超高清升级发布会迎来行业重大变革

热点

相信通过这次全网大升级,广东电信IPTV智慧家庭大生态将步入一个崭新的时代。

最新消息:稳!艺赛旗连续四年入选Gartner 技术成熟度曲线报告

热点

日前,Gartner发布2022年中国ICT技术成熟度曲线。

每日热议!2022数字经济体验周 | 神州信息金融科技创新中心圆满完成场景开放活动

热点

“数字经济·触手可及”2022北京数字经济体验周的举办,成功掀起了北京新一轮数字消费的热潮。

世界要闻:向安卓看齐?苹果App Store新增广告位:应用页也有推广

热点

苹果预计在未来几个版本中为AppStore新增两个广告位,主要用于应用程序的推广。

【全球热闻】清华大学新闻学院教授沈阳:目前元宇宙产业生态系统处于亚健康状态

热点

7月29日,主题为“从概念走向应用”的首届元宇宙学术及营销应用论坛在线圆满举行并落下帷幕。

世界即时:相比技术与产品,倾听与意见才是Web3当下的首要任务

热点

因为以人为本的多链黑客马拉松将产生更快,产品与市场契合度更高。

财富

天天热门:融资丨「泰邦生物集团」完成3亿美元融资,Platinum Orchid、GIC领投

资讯

融资丨「泰邦生物集团」完成3亿美元融资,PlatinumOrchid、GIC领投,融资完成后,泰邦生物集团资本结构将得到进一步优化,并将有利于更好地立足

每日快看:用做题的逻辑来创业,市高考状元创立方便速食「巴狗」,年营收近2亿

资讯

用做题的逻辑来创业,市高考状元创立方便速食「巴狗」,年营收近2亿,从头拆解这件事情,用逻辑打造精准的算法模型,就可以来解方便速食这道题。

天天观热点:诈骗130万美元?“二舅币”澄清了,但炒币者更急了

资讯

诈骗130万美元?“二舅币”澄清了,但炒币者更急了,人心不足,如蛇吞象。

今热点:脉脉上的相亲生意

资讯

脉脉上的相亲生意,这一切都只是生意罢了。

新动态:融资丨「聆知」获数百万元天使轮融资,专注于女性成长

资讯

融资丨「聆知」获数百万元天使轮融资,专注于女性成长,本轮融资将主要用于市场推广。

速递!融资丨「点点达洗车」完成3000万元A轮融资,致力于汽车后场服务

资讯

融资丨「点点达洗车」完成3000万元A轮融资,致力于汽车后场服务,本轮融资将主要用于平台研发、人才建设、市场推广、产业布局等体系完善。

全球热议:融资丨「恒创睿能」完成超3亿元B轮融资,致力于退役动力电池循环综合利用

资讯

融资丨「恒创睿能」完成超3亿元B轮融资,致力于退役动力电池循环综合利用,本轮融资将主要用于完善梯次利用产品系列开发,新能源退役锂电池循环

快资讯:睫毛界的黑科技:软磁睫毛如何让美睫更简单?

资讯

睫毛界的黑科技:软磁睫毛如何让美睫更简单?,除了产品的创新,高效的工厂也是悦瞳能对市场喜好做出快速反应的“法宝”之一。

天天快资讯丨我在B站做直播,不露面,月入2万

资讯

我在B站做直播,不露面,月入2万,我在B站做直播,不露面,月入2万

天天热文:融资丨「国台酒业」获数亿元投资,日初资本投资

资讯

融资丨「国台酒业」获数亿元投资,日初资本投资,国台基酒生产能力强且优质基酒产能持续升级。

环球精选!报告:想学AI的学生数量已涨200%,老师都不够用了

随着神经网络的卷土重来以及深度学习的蓬勃发展——让想学AI的学生越来越多,以至于大学里的老师都不够用了。

天天微资讯!阿里回应被列入“预摘牌”名单

阿里回应被美列入预摘牌名单,将努力保持两地上市地位。

环球快消息!中国电信:天翼云已成为全球最大运营商云

7月24日,第五届数字中国建设峰会·云生态大会在福州举行。

天天最资讯丨亮点提前看!广东电信IPTV全网超高清升级发布会迎来行业重大变革

相信通过这次全网大升级,广东电信IPTV智慧家庭大生态将步入一个崭新的时代。

最新消息:稳!艺赛旗连续四年入选Gartner 技术成熟度曲线报告

日前,Gartner发布2022年中国ICT技术成熟度曲线。

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个

吉利几何EX3功夫牛高居榜首,4月投诉量230起

近日,车质网发布了2022年4月车型投诉排行八卦(前30名),其中有不少产品的出现属实让人没想到。具体来看,吉利几何EX3功夫牛高居榜首,4月

“说好了未达到目标全额退款,结果都是骗人的!”

春天不减肥,夏天徒伤悲。一波减肥大军抱着坚定的信念踏上征途,发现身边各式各样的高端减肥训练营正打着健康减肥封闭管理保质保量包吃包住