【环球新视野】计算机孟灿|计算机行业深度研究:大模型时代,AI技术向效率提升演进

2023-02-28 13:24:25   来源:商业新知网


(相关资料图)

投资逻辑

我们2022年12月发布的报告《深度学习算法:从多样到统一》中,阐述了自Google 2017年提出Transformer以来,深度学习开始进入大模型时代。大模型时代的前沿技术发展围绕着提升效率而展开,包括:1)提升训练方法效率:向无监督和半监督学习发展;2)提升数据效率:从追求数据规模向追求数据质量发展;3)提升开发效率:通过“预训练基础模型+微调”,挖掘现有大模型潜力,降低具体下游任务的开发成本;4)提升算力效率:从稠密机构向稀疏结构发展;5)提升训练的工程化效率:向并行训练和混合精度训练发展。

训练方法: AI模型的训练方法主要包括监督学习和无监督学习两种典型方式,后随模型训练数据量的增加,衍生出使用大量未标注数据+少量标注数据的半监督学习方法。AI训练方法的发展历经“监督-无监督-监督-无监督/半监督”4个阶段,在目前的大模型阶段,无监督/半监督训练再次成为主流。 数据效率: 随参数规模的增加,大模型在知识密集型任务中的效果提升显著。此外,当模型参数超过特定阈值后,模型会对特定任务表现出“涌现”现象。目前学界和业界已意识到数据质量的重要性或高于数据数量,AI大模型需要在保证数据质量的前提下进行数据数量和参数规模的扩充。 开发效率: AI大模型的流行提出了“基础模型+微调”的AI开发新范式。相较于过去“一场景、一任务、一模型”的开发模式,“基础模型+微调”具有数据需求量小、训练时间短、落地边际成本低等优点。微调技术的发展带动大模型由“以参数规模取胜”向“以高质量学习取胜”转变。 算力效率: AI架构可分为稠密结构和稀疏结构,其中稀疏结构可有效降低大模型对算力的消耗。2017年Google提出了混合专家方法MoE,使得模型在计算过程中只需激活部分神经网络;2022年6月Google发布的基于稀疏结构的多模态模型LimoE,已经在降低算力消耗的同时取得不亚于稠密结构的成绩。 工程化效率: 伴随AI大模型参数量的不断提升,并行训练、混合精度训练等技术发展迅速。其中,国产AI框架百度PaddlePaddle提出的4D混合并行策略在MLPerf发布的稠密结构AI训练性能榜单中位列第一;通过使用16位浮点数代替32位浮点数进行训练,能够在同等模型表现的情况下实现训练时间减半。 投资建议 建议关注受益于AI算法进步,并能成功进行商业化应用的科大讯飞、商汤科技等公司;以及受益于AI算力需求、微调技术发展的海光信息、浪潮信息、海天瑞声等公司。

风险提示

海外基础软硬件使用受限;骨干网络创新放缓;应用落地不及预期。

关键词: 技术发展 监督学习

上一篇:
下一篇:
精彩阅读

【环球新视野】计算机孟灿|计算机行业深度研究:大模型时代,AI技术向效率提升演进

热点

目前学界和业界已意识到数据质量的重要性或高于数据数量,AI大模型需要在保证数据质量的前提下进行数据数量和参数规模的扩充。

伪基站已呈零星偶发态势!四年下降百分之九十余

热点

伪基站,又称假基站、假基地台,是一种利用GSM单向认证缺陷的非法无线电通信设备。

【天天新视野】14年专注与沉淀,他们想做中国最好的RPA机器人

热点

我们想做中国最好的RPA软件机器人,让中国软件屹立于世界之林,被世人所尊重。

快讯:三大通信运营商集体走高,中国联通、中国电信涨超6%

热点

快讯:三大通信运营商集体走高,中国联通、中国电信涨超6%!

【世界快播报】FBEC大会 | HIKKY创始人兼CEO舟越靖:在虚拟世界里建设人们的生活圈、文化圈和经济圈

热点

作为一家创业公司,我们希望在虚拟的世界里建设人们的生活圈、文化圈和经济圈。

可解释机器学习最新综述:应用于实时场景中的机遇与挑战

热点

深度模型(神经网络)的推理过程是黑盒化的、不可解释的。

世界即时:阿里巴巴2022年全年裁员1.9万人

热点

目前,阿里巴巴仍有239740名员工。

观天下!蚂蚁集团第二次分红派息319亿元,两次累计超438亿元

热点

阿里最新财报披露了蚂蚁集团第二次分红的具体情况。

当前头条:腾讯要代理Meta Quest,是妙招,但修Bug得趁早

热点

这种变化其实并不完全意味着元宇宙概念已经彻底失败,或是VR硬件再一次开始退潮。

全球热门:河南广电与大象融媒签署战略合作协议,推动河南省5G发展新格局

热点

2月24日,中国广电河南网络有限公司与河南大象融媒体集团有限公司在大象融媒一楼新闻发布厅举办战略合作签约仪式。

财富

融资丨「原启生物」完成4500万美元B1轮融资

资讯

融资丨「原启生物」完成4500万美元B1轮融资,将主要用于支持其核心产品在国际市场的临床开发。

融资丨「典晶生物」完成超4000万美元B轮融资,千骥资本领投

资讯

融资丨「典晶生物」完成超4000万美元B轮融资,千骥资本领投,用于推进生物合成角膜及多个眼科创新药物的临床研究。

每日短讯:从大学辍学到“移动电竞之父”,他创造了电竞行业的融资纪录

资讯

从大学辍学到“移动电竞之父”,他创造了电竞行业的融资纪录,网瘾少年变霸总。

三星note3怎么提高性能?三星手机note3跑分多少?

资讯

三星NOTE3使用的是高通骁龙MSM8974四核处理器搭配3GB的运行内存,可以算是目前智能手机里面的最高水平,使用专业跑分软件进行测试可以发现

dnf更新不了怎么回事?dnf手游更新慢解决方法是什么?

资讯

目前大部分人都这么卡的,游戏刚更新,很多不完善的地方城镇内走路都一卡一卡的输入法先别切换到搜狗或者QQ拼音先原始呆着,貌似好点首先说

uc浏览器怎么取消自动续费?uc浏览器qq浏览器哪个好?

资讯

应该这么理解,uc浏览器它是一个wap浏览器,是专门用来访问手机wap站点的,当然用其他的浏览器也可以访问wap,比如opera,ok浏览器,它们就

联想一键强制恢复出厂设置?联想自带系统怎么恢复?

资讯

第一种方法在启动了电脑情况下,启动联想一键恢复6 0,点系统还原,然后选择系统备份的那个文件夹,确定后出现进入重启对话框,点确定,完

电脑桌面横条怎么设置?电脑下方任务栏一直闪烁怎么回事?

资讯

1、如果是台式机先检查显卡是否有插紧,可以将显卡拔下来重新插一下,插得紧一点试试。2、台式机电脑显示器连接线松动也会造成这种问题,拔

使命召唤9电脑屏幕黑屏?使命召唤9无法运行什么原因?

资讯

关于游戏黑屏可能出现的原因有以下几种:1 一般像970,980这类高端显卡是有单独供电的,如果电源功率不高的话,在玩游戏的时候也会出现黑屏

联想v550怎么做系统?联想v550开机没声音?

资讯

1、根据笔记本型号以及操作系统位数,到笔记本官网下载最新的声卡驱动,下载后重新安装重启电脑;2、重启后将声音的音量音量加大并开启音量;

伪基站已呈零星偶发态势!四年下降百分之九十余

伪基站,又称假基站、假基地台,是一种利用GSM单向认证缺陷的非法无线电通信设备。

【天天新视野】14年专注与沉淀,他们想做中国最好的RPA机器人

我们想做中国最好的RPA软件机器人,让中国软件屹立于世界之林,被世人所尊重。

快讯:三大通信运营商集体走高,中国联通、中国电信涨超6%

快讯:三大通信运营商集体走高,中国联通、中国电信涨超6%!

【世界快播报】FBEC大会 | HIKKY创始人兼CEO舟越靖:在虚拟世界里建设人们的生活圈、文化圈和经济圈

作为一家创业公司,我们希望在虚拟的世界里建设人们的生活圈、文化圈和经济圈。

可解释机器学习最新综述:应用于实时场景中的机遇与挑战

深度模型(神经网络)的推理过程是黑盒化的、不可解释的。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个