2023-04-17 11:17:47 来源:商业新知网
(相关资料图)
自2017年Transformer发布以来,大语言模型经历了由开源到逐步闭源的转变,头部公司先进模型的壁垒逐步形成。 目前OpenAI、Google等领先的头部AI大厂对于先进模型大多采用部分开源或仅开放使用的模式,以此构建技术护城河。然而,将AI大模型直接应用于垂直行业,存在通用能力过剩、行业专业知识储备不足、推理过程消耗算力过高等问题。基于开源模型进行垂类模型开发可兼顾开发成本和数据安全,尤其是对于党政军、金融、电网、先进制造等数据敏感性较高的行业而言。 Meta旗下LLaMA大模型的开源或能为垂类模型落地提供预训练模型底座。 LLaMA基于通用领域的开源数据集进行训练,训练数据涵盖40种语言,包含约1.4万亿Tokens。尽管LLaMA模型参数量较小,但性能丝毫不逊色于PaLM、GPT-3等大语言模型。并且较小的参数规模显著降低了LLaMA模型的落地部署和二次开发难度。 LLaMA作为完全开源的领先模型,具备高度的灵活性、可配置性和泛化能力,可以作为垂类AI模型的通用基座。 基于LLaMA,垂类AI开发者可以根据其行业特点、应用行业数据定制开发相应的“行业发行版AI模型”。LLaMA模型一经发布就对外完全开源,吸引了广大AI开发者和研究者。目前,用户可在全球知名AI模型开源社区Hugging face中获取LLaMA的模型权重与训练代码。能够自由下载并使用LLaMA模型,既可以将其部署至设备直接进行推理,也可以基于LLaMA进行研究与二次开发。 我们测算了模型在迁移学习阶段的训练算力成本,在模型微调阶段,由于训练量级较小,仅为万级,相关的算力成本相比之下可忽略不计。 例如,斯坦福大学于2023年3月对外发布Alpaca,这是一个基于LLaMA-7B基座,应用5.2万指令对模型微调训练得到的对话类语言模型,该模型基于8块A100微调,微调时长3小时,算力成本不超过300元。 在推理阶段,根据我们的初步测算,由8块A100组成的AI服务器可为规模达2,000人的中大型企业提供AI服务,离线部署方案每年的推理算力成本约为33.2万元,若采用云计算方案则每年需花费约66万元算力成本。基于上述推理成本分析,推理成本并不高昂,绝大多数中型以上企业足以负担,为各领域垂类模型落地提供了极为广阔的市场空间。 投资建议 LLaMA等优质开源模型的推出极大加速了下游行业AI应用开发效率。基于“通用基座+迁移学习+微调”的垂类AI模型开发范式或将成为主流,优质的行业数据资源成为影响模型性能的关键。 在此趋势之下,我们看好两类企业:1)拥有开发先进大模型能力的企业。这类企业在先进模型逐步走向闭源的趋势下,有望保持算法优势,如商汤科技、科大讯飞等。2)拥有丰富行业数据的头部公司。这类企业有望基于稀缺的行业数据以及开源模型,开发出可用性更强的垂类模型。如东方财富、同花顺、恒生电子等。 风险提示 海外基础软硬件使用受限;骨干网络创新放缓;应用落地不及预期关键词:
怎么设置笔记本风扇的触发温度?1 进入BIOS设置页面。在开机时,按下笔记本电脑制造商指定的进入BIOS的热键,通常是F2或DEL键。2 找到风
win7台式电脑蓝牙怎么连接耳机?可以。通过蓝牙适配器连接蓝牙耳机可以实现语音通话的,建议入手蓝牙适配器5 0版本,毕竟高版本可以向下兼容
最近爆火的ChatGPT,玩起来可真是上瘾。
在科技日新月异的时代,人工智能无疑成为了当之无愧的热点话题。
最近北森上市股价破发,我创建的1000多人的SaaS高管群一片哗然。
AIGC的发展速度之快,令人咋舌。
数据可视化:是指将大型数据集中的数据以图形图像形式表示,并利用数据分析和开发工具发现其中未知信息的处理过程。