全球观察:训练速度提高最多5.4倍,谷歌提出RL训练新范式ActorQ

2022-10-18 10:11:36   来源:商业新知网

来自:机器之心

近日,谷歌的研究者提出了一种称为「ActorQ」的新范式,使用量化将强化学习训练速度提高 1.5-5.4 倍。与全精度训练相比,碳足迹也减少了 1.9-3.8 倍。

此前,由谷歌大脑团队科学家 Aleksandra Faust 和研究员 Srivatsan Krishnan 发布的深度强化学习模型在解决导航、核物理、机器人和游戏等现实世界的顺序决策问题方面取得巨大进步。它很有应用前景,但缺点之一是训练时间过长。

虽然可以使用分布式计算加快复杂困难任务的强化学习的训练,但是需要数百甚至数千个计算节点,且要使用大量硬件资源,这使得强化学习训练成本变得极其高昂,同时还要考虑对环境的影响。最近的研究表明,对现有硬件进行性能优化可以减少模型训练的碳足迹(即温室气体排放总量)。


(资料图片)

借助系统优化,可以缩短强化学习训练时间、提高硬件利用率、减少二氧化碳(CO2)排放。其中一种技术是量化,将全精度浮点(FP32)数转换为低精度(int8)数,然后使用低精度数字进行计算。量化可以节省内存成本和带宽,实现更快、更节能的计算。量化已成功应用于监督学习,以实现机器学习(ML)模型的边缘部署并实现更快的训练。同样也可以将量化应用于强化学习训练。

近日,谷歌的研究者在《Transactions of Machine Learning Research》期刊上发表了《QuaRL:快速和环境可持续强化学习的量化》,介绍了一种称为「ActorQ」的新范式。该范式使用了量化,在保持性能的同时,将强化学习训练速度提高 1.5-5.4 倍。作者证明,与全精度训练相比,碳足迹也减少了 1.9-3.8 倍。

量化应用于强化学习训练

在传统的强化学习训练中,learner 策略会应用于 actor,actor 使用该策略探索环境并收集数据样本,actor 收集的样本随后被 learner 用于不断完善初始策略。定期地,针对 learner 的训练策略被用来更新 actor 的策略。为了将量化应用于强化学习训练,作者开创了 ActorQ 范式。ActorQ 执行上面描述的相同序列,其中关键区别是,从 learner 到 actor 的策略更新是量化的,actor 使用 int8 量化策略探索环境以收集样本。

以这种方式将量化应用于强化学习训练有两个关键好处。首先,它减少了策略的内存占用。对于相同的峰值带宽,learner 和 actor 之间传输的数据较少,这降低了 actor 与 learner 之间的策略更新通信成本。其次,actor 对量化策略进行推理,以生成给定环境状态的操作。与完全精确地执行推理相比,量化推理过程要快得多。

传统 RL 训练概述(左)和 ActorQ RL 训练(右)。

在 ActorQ 中,作者使用了 ACME 分布式强化学习框架。量化模块执行统一量化,将 FP32 转换为 int8。actor 使用优化的 int8 计算进行推理。虽然在设计量化模块块时使用的是均匀量化,但其它量化技术可以取代均匀量化并产生类似的结果。actor 收集的样本供 learner 用于训练神经网络策略。学习的策略被量化模块定期量化并广播给 actor。

以量化提升强化学习训练效率

作者在一系列环境中评估 ActorQ,包括 Deepmind Control Suite 和 OpenAI Gym。作者演示了 D4PG 和 DQN 的加速和性能改进。选择 D4PG 是因为它是用于 Deepmind Control Suite 任务的 ACME 中最好的学习算法,而 DQN 是一种广泛使用的标准强化学习算法。

作者在实验中观察到训练强化学习策略的速度显著加快(1.5 倍至 5.41 倍之间)。更重要的是,即使 actor 进行了基于 int8 的量化推理,也可以保持性能。下图显示了用于 Deepmind Control Suite 和 OpenAI Gym 任务的 D4PG 和 DQN 智能体的这一点。

对 D4PG 智能体在各种 Deepmind Control Suite 任务中使用 FP32 策略(q=32)和量化 int8 策略(q=8)的强化学习训练进行比较。量化实现了 1.5 倍到 3.06 倍的速度提升。

OpenAI Gym 环境中 DQN 智能体使用 FP32 策略(q=32)和 int8 量化策略(q=8)进行强化学习训练的比较。量化实现了 2.2 倍到 5.41 倍的加速。

量化减少碳排放

使用 ActorQ 在强化学习中应用量化可以在不影响性能的情况下缩短训练时间。更有效地使用硬件,并减少了碳足迹。作者通过在训练时使用 FP32 的碳排放量与在训练时采用 int8 的排放量之比来衡量碳足迹的改善。

为了测量强化学习训练实验的碳排放量,作者使用了之前工作中提出的 experiment-impact-tracker (https://github.com/Breakend/experiment-impact-tracker)。ActorQ 系统配备碳监测器 API,以测量每个训练实验的碳排放量。

与全精度运行时的碳排放量(FP32)相比,量化可将碳排放量从 1.9 倍降至 3.76 倍,具体取决于任务。由于强化学习系统可以在数千个分布式硬件核心和加速器上运行,绝对碳减排量(以千克二氧化碳计)可能会非常显著。

比较使用 FP32 和 int8 的训练之间的碳排放。X 轴标度标准化为 FP32 的碳排放量,用红色条表示。ActorQ 减少了碳排放。

结论和未来方向

作者引入了 ActorQ,这是一种新的范式,将量化应用于强化学习训练,并在保持性能的同时实现了 1.5-5.4 倍的加速改进。与未应用量化的全精度训练相比,ActorQ 可以将强化学习训练的碳足迹减少 1.9-3.8 倍。

ActorQ 证明量化可以有效地应用于强化学习的许多方面,从获得高质量和高效的量化策略到减少训练时间和碳排放。随着强化学习在解决现实问题方面继续取得长足进步,我们有理由相信,使强化学习训练实现可持续发展将是关键。当将强化学习扩展到数千个 CPU 和 GPU 时,即使 50% 的改进也会在成本、能源和碳排放方面显著降低。作者的工作是将量化应用于强化学习训练以实现高效和环境可持续训练的第一步。

作者在 ActorQ 中的量化设计基于简单的均匀量化,但实际可以应用其他形式的量化、压缩和稀疏性(如蒸馏、稀疏化等)。未来的工作将考虑应用更积极的量化和压缩方法,这可能会为强化学习在训练性能和精度的权衡上带来更多的好处。

关键词: 强化学习 训练时间

上一篇:
下一篇:
精彩阅读

全球观察:训练速度提高最多5.4倍,谷歌提出RL训练新范式ActorQ

热点

谷歌的研究者提出了一种称为「ActorQ」的新范式,使用量化将强化学习训练速度提高1 5-5 4倍。

环球观天下!SaaS公司如何彻底消灭定制化(二)

热点

需求分化指数越高的客户群,需要用灵活度越强的产品来进行匹配。

全球看热讯:中国广电5G额外流量包与语音包资费曝光!

热点

中国广电5G额外流量包与语音包资费曝光!

世界新资讯:2022-2030年间,工业、汽车和公用事业仍是物联网连接的最大垂直领域

热点

2022年,工业是领先行业,占总物联网连接的17%,其次是汽车和公用事业,分别拥有15%的连接占比。

环球今日报丨AR七年,谁来打破行业旧地图?

热点

手握两张牌的李未可,驶向AR产业的新大陆。

全球微速讯:2022年8月中国软件和信息技术服务业业务收入排行榜:广西、贵州、宁夏3个省份信息技术服务收入占比超90%(附月榜TOP30详单)

热点

2022年1-8月,全国软件业务收入共计64368 26亿元,累计同比增长了9 8%,其中软件产品收入占比24 6%。

天天视讯!搜狗,逃离堂吉诃德!剧终

热点

搜狗变成腾讯的菜一年,终于吃完了。

世界新消息丨90后董事长办“元宇宙婚礼”,股价暴涨,却像在“冲喜”

热点

最近元宇宙概念特别火爆,各行各业都开始向元宇宙靠拢,不少互联网大佬的发布会也都融入了元宇宙元素。

播报:腾讯半年关停十余款产品?巨头腾讯为啥着急“断舍离”?

热点

所以,腾讯当前大规模地关停产品,其实是很正常的事情,也是腾讯当前顺应市场变化必然的选择。

财富

天天微动态丨超500万亿大市场迎变局!涉及腾讯、阿里两巨头

资讯

超500万亿大市场迎变局!涉及腾讯、阿里两巨头,腾讯、阿里巴巴支付功能双双上新功能

全球观点:抖音推出虚拟社交空间,张一鸣踏进元宇宙

资讯

抖音推出虚拟社交空间,张一鸣踏进元宇宙,张一鸣:不断想,不断试,想办法突破!

天天最资讯丨AR七年,谁来打破行业旧地图?

资讯

AR七年,谁来打破行业旧地图?,手握两张牌的李未可,驶向AR产业的新大陆。

环球通讯!闲鱼终成假淘宝?

资讯

闲鱼终成假淘宝?,在阿里,闲鱼可以不谈盈利,但不能不为淘宝输血。

天天精选!外卖十年硝烟:“抢单王”骑手买了房

资讯

外卖十年硝烟:“抢单王”骑手买了房,新的流量王者开始扩张自身边界,外卖业务不再只是两家平台的竞争。

天天观速讯丨自主新能源车企纷纷“出海”:哪车多,哪就是起跑线?

资讯

自主新能源车企纷纷“出海”:哪车多,哪就是起跑线?,车企打卡式出海的背后

世界热文:融资丨「天科新能源」完成数亿元A轮融资,同创伟业等机构投资

资讯

融资丨「天科新能源」完成数亿元A轮融资,同创伟业等机构投资,本轮融资主要用于电池产能扩张、技术研发投入及流动资金补充。

世界快看:融资丨「享开店」完成数千万元Pre-A 轮融资,SIG 海纳亚洲创投基金领投

资讯

融资丨「享开店」完成数千万元Pre-A轮融资,SIG海纳亚洲创投基金领投,本轮资金将用于产品迭代、服务团队建设与新业务开拓。

【新视野】金字火腿“猛回头”

资讯

金字火腿“猛回头”,不断跨界,一事无成。

世界消息!打工人卷向新加坡

资讯

打工人卷向新加坡,收入涨了,压力也大了。

环球观天下!SaaS公司如何彻底消灭定制化(二)

需求分化指数越高的客户群,需要用灵活度越强的产品来进行匹配。

全球看热讯:中国广电5G额外流量包与语音包资费曝光!

中国广电5G额外流量包与语音包资费曝光!

世界新资讯:2022-2030年间,工业、汽车和公用事业仍是物联网连接的最大垂直领域

2022年,工业是领先行业,占总物联网连接的17%,其次是汽车和公用事业,分别拥有15%的连接占比。

环球今日报丨AR七年,谁来打破行业旧地图?

手握两张牌的李未可,驶向AR产业的新大陆。

全球微速讯:2022年8月中国软件和信息技术服务业业务收入排行榜:广西、贵州、宁夏3个省份信息技术服务收入占比超90%(附月榜TOP30详单)

2022年1-8月,全国软件业务收入共计64368 26亿元,累计同比增长了9 8%,其中软件产品收入占比24 6%。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个