反向用随机梯度下降来优化人生

2023-02-03 17:24:04   来源:商业新知网

沐神对本回答的评论,hhh

看完李沐老师的文章 亚马逊首席李沐 | 用随机梯度下降来优化人生 ,深受感慨,本人阅读大量文献,提出了下面“ 反向 用随机梯度下降来优化人生“的方案。下文与李沐老师的文章一一对应,李沐老师的放在了引用块里。


【资料图】

不是很懂优化这块,欢迎批评指点。

李沐:目标要大 。不管是人生目标还是目标函数,你最好不要知道最后可以走到哪里。如果你知道,那么你的目标就太简单了,可能是个凸函数。你可以在一开始的时候给自己一些小目标,例如期末考个80分,训练一个线性模型。但接下来得有更大的目标,财富自由也好,100亿参数的变形金刚也好,得足够一颗赛艇。

反向:目标要小而具体。 如果目标过大,很容易导致因为噪声过大,奖励过于稀疏而发散[1]。收敛情况很好的,往往是图片分类这种目标非常明确而具体的。比如真实机器人面临的搜索空间很大的任务,很容易发散[2]。

李沐:坚持走 。不管你的目标多复杂,随机梯度下降都是最简单的。每一次你找一个大概还行的方向(梯度),然后迈一步(下降)。两个核心要素是方向和步子的长短。但最重要的是你得一直走下去,能多走几步就多走几步。

反向:该放弃时就要放弃。 一个简单也很有效的解决梯度策略发散的技巧就是抛弃过大的梯度[3]。如果遇到很大的梯度还不选择抛弃,很容易会导致发散的结果。另外一种解释是,很多场合训练几个epoch就能发现梯度越来越大,这时候一定要停下来检查数据,不然一晚上过后只能得到一个nan的结果。

李沐:痛苦的卷 。每一步里你都在试图改变你自己或者你的模型参数。改变带来痛苦。但没有改变就没有进步。你过得很痛苦不代表在朝着目标走,因为你可能走反了。但过得很舒服那一定在原地踏步。需要时刻跟自己作对。

反向:拒绝内卷。 优化有两种模式,一种很陡峭曲折的(比较艰难,对应内卷),一种是比较平滑的(比较轻松,对应佛系和不卷)。这里我引用一篇顶会论文中[4]的可视化结果,

左边的(a)对应很内卷,优化曲面不平滑;右边的(b)对应很平滑的过程

那么究竟是(a)好呢,还是(b)好呢?想必大家已经猜到了,(b)这种优化模式要远远好于(a),错误率小两倍多(错误率:(b)5.89%,(a)13.31%)。因此,大家一定要学会拒绝内卷,保护自己平滑的优化过程。

李沐: 四处看看 。每一步走的方向是你对世界的认识。如果你探索的世界不怎么变化,那么要么你的目标太简单,要么你困在你的舒适区了。随机梯度下降的第一个词是随机,就是你需要四处走走,看过很多地方,做些错误的决定,这样你可以在前期迈过一些不是很好的舒适区。

反向:别走太远。 正则化是深度学习乃至机器学习中非常常见的技巧,要想取得好的收敛效果,往往需要加以约束,不能走得太远[3]。

李沐: 赢在起点 。起点当然重要。如果你在终点附近起步,可以少走很多路。而且终点附近的路都比较平,走着舒服。当你发现别人不如你的时候,看看自己站在哪里。可能你就是运气很好,赢在了起跑线。如果你跟别人在同一起跑线,不见得你能做更好。

反向:起点不重要。 Facebook的一篇论文[5]用大量实验事实证明,接受预训练的模型,虽然一开始会好一些,但是后面跟随机初始化的模型相差无几。有实验结果图为证:

李沐: 很远也能到达 。如果你是在随机起点,那么做好准备前面的路会非常不平坦。越远离终点,越人迹罕见。四处都是悬崖。但随机梯度下降告诉我们,不管起点在哪里,最后得到的解都差不多。当然这个前提是你得一直按照梯度的方向走下去。如果中间梯度炸掉了,那么你随机一个起点,调整步子节奏,重新来。

反向:太远就到不了了。 如果间隔时间太长,奖励函数的折损会非常严重,这会严重影响强化学习的成功率。这也是为什么现在强化学习仍然只是在模拟器中成功。

李沐:简单最好 。当然有比随机梯度下降更复杂的算法。他们想每一步看想更远更准,想步子迈最大。但如果你的目标很复杂,简单的随机梯度下降反而效果最好。深度学习里大家都用它。关注当前,每次抬头瞄一眼世界,快速做个决定,然后迈一小步。小步快跑。只要你有目标,不要停,就能到达。

反向:越结构化的模型越好。 文献显示[6],拓扑结构复杂的模型,在同样的梯度下降算法之后会产生更小的泛化误差。而过于简单的模型,往往会容易收敛到平凡解。

拓扑参数更复杂的模型,泛化能力更强

有些点没讲到,是因为找不到特别好的文献,或者读起来没那么有趣。

如果要我说,人生反正不是监督学习,更像是强化学习甚至无监督学习。

当然,也可能人生就是随机挑战。

关键词: 强化学习

上一篇:
下一篇:
精彩阅读

反向用随机梯度下降来优化人生

热点

当然,也可能人生就是随机挑战。

环球关注:内容创作的正确打开方式:AIGC,云计算ETF(516510)涨超2.7%

热点

据同壁财经2023年2月1日讯,今日午后AIGC概念持续拉升。

全球聚焦:致远互联荣登“2022北京企业100强榜单”

热点

持续增强核心竞争力,通过抢抓企业数智化新机遇,赋能千行百业,为社会经济高质量发展做出积极贡献。

亨通光电:PEACE项目巴基斯坦—埃及—肯尼亚、埃及—法国段已建设完毕并按计划于2022年内投入使用

热点

公司提供包括带宽销售、运营维护以及其他增值服务;相关费用收取基于以上服务内容。

世界今日报丨GameFi 2022年度报告:从第一参与者视角了解现状和未来

热点

GameFi,虚拟游戏和去中心化金融的合成体,在2021年后期席卷了区块链行业,这也是这个赛道的高峰点。

世界最新:赵长鹏:Binance 更愿意投资虚拟现实(VR)或元宇宙游戏

热点

币安也会在新的一年持续投资DeFi,并进一步简化用户的KYC流程,实现全球10亿个经过验证的用户数目标。

上市前夜,Abelian创始人详解项目愿景、技术、产品和生态

热点

Abelian的可证明安全的隐私保护功能没有具有相同级别隐私的对等区块链网络。

环球讯息:腾讯诉TapTap侵权案将开庭:侵害其商标权

热点

近日,TapTap关联公司易玩(上海)网络科技有限公司新增多则开庭公告,案由为侵害商标权纠纷。

看点:反「PPT骗子」,互联网大厂是认真的吗?

热点

精美的PPT和口若悬河的年终汇报,被视作许多大厂员工每一年的“压轴”表演。

环球观速讯丨用ChatGPT剽窃的罪,OpenAI要亲手洗刷

热点

如今,ChatGPT的“造物主”OpenAI亲自出马,要解决各方人士利用这个工具“作弊”的问题。

财富

世界即时:谁动了我的会员?

资讯

谁动了我的会员?,会员权益被篡改,损失又由谁承担?

特斯拉“背叛”特斯拉

资讯

特斯拉“背叛”特斯拉,降价冲量,有利有弊。

报道:融资丨「微蚁科技」完成超2000万元新一轮融资,浙江协同创新独家投资

资讯

融资丨「微蚁科技」完成超2000万元新一轮融资,浙江协同创新独家投资,据了解,本轮融资主要用于产业互联网的区域拓展合作以及公司技术的研发和

环球消息!融资丨「钠创新能源」完成数亿元A+轮融资,昆仑资本、青岛国合、日照芯能投资

资讯

融资丨「钠创新能源」完成数亿元A+轮融资,昆仑资本、青岛国合、日照芯能投资,钠创新能源聚焦钠离子电池技术创新与工程化,本轮融资将主要用于

2023“开门红”,新茶饮又续上命了?

资讯

2023“开门红”,新茶饮又续上命了?,去下沉市场,感受上升热浪

ChatGPT横空出世,有很多你不知道的细节

资讯

ChatGPT横空出世,有很多你不知道的细节,《财富》认为,ChatGPT是堪比网景浏览器和iPhone手机的划时代产品。

快播:打工人在996,新富人去旅居

资讯

打工人在996,新富人去旅居,“996”攒钱买房,还是靠旅居“暴富”?这是一个问题。

全球快报:谁抛弃了华润万家超市?

资讯

谁抛弃了华润万家超市?,华润万家,能否重回千亿营收?

视频号,鹅厂“全村的希望”?

资讯

视频号,鹅厂“全村的希望”?,能逆袭吗?

世界微资讯!融资丨「卓翼智能」完成Pre-B轮融资,动平衡资本独家投资

资讯

融资丨「卓翼智能」完成Pre-B轮融资,动平衡资本独家投资,据了解,本轮融资将助力卓翼智能做好装备批产资金准备。

环球关注:内容创作的正确打开方式:AIGC,云计算ETF(516510)涨超2.7%

据同壁财经2023年2月1日讯,今日午后AIGC概念持续拉升。

全球聚焦:致远互联荣登“2022北京企业100强榜单”

持续增强核心竞争力,通过抢抓企业数智化新机遇,赋能千行百业,为社会经济高质量发展做出积极贡献。

亨通光电:PEACE项目巴基斯坦—埃及—肯尼亚、埃及—法国段已建设完毕并按计划于2022年内投入使用

公司提供包括带宽销售、运营维护以及其他增值服务;相关费用收取基于以上服务内容。

世界今日报丨GameFi 2022年度报告:从第一参与者视角了解现状和未来

GameFi,虚拟游戏和去中心化金融的合成体,在2021年后期席卷了区块链行业,这也是这个赛道的高峰点。

世界最新:赵长鹏:Binance 更愿意投资虚拟现实(VR)或元宇宙游戏

币安也会在新的一年持续投资DeFi,并进一步简化用户的KYC流程,实现全球10亿个经过验证的用户数目标。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个