焦点滚动:驱动ChatGPT的核心技术

2023-02-24 11:12:02   来源:商业新知网

Jane.Zhong 是复睿微电子算法科学家,毕业于中科院高能物理所,曾就职于清华大学联合研究所,先后担任资深算法专家、系统架构专家,长期从事图像算法和人工智能领域科学研究工作。

2022年是AIGC(AIGenerateContent)的元年,OpenAI的大型预研生成模型ChatGPT自去年底推出以来迅速火遍全球,敲代码、写文章、高情商对话,ChatGPT流利的语言能力让人惊叹。


(资料图片)

有人说ChatGPT颠覆了人们对聊天机器人的认知,人工智障终于出人工智能的雏形。作为一个伟大的产品,ChatGPT到底有怎样的突破创新呢?

Meta首席人工智能科学家LeCun认为“就底层技术而言,ChatGPT 并没有什么特别的创新,与其说 ChatGPT 是一个科学突破,不如说它是一个像样的工程实例。” ChatGPT的底层技术依赖于两个划时代的技术Word2Vec和Transformer。

Word2Vec

“Word2Vec是一种基于神经网络的技术,可以将文本中给的每一个单词转换成N维向量。它通过学习文本语料库中不同单词出现的上下文,把距离尽可能相近的单词映射到一起,实现对文本的数字化表示”(此段文字来源于ChatGPT查询)。ChatGPT使用Word2Vec词向量技术来做embedding,将文字转换成数字向量。

图中是一个Word2Vec embedding模块,将文本转换成768维向量(ChatGPT沿用GPT3,向量长度为12288),然后相同维度的位置embedding(Position Embedding是为了位置的时序特点进行建模)相加,输出向量序列。

上图是GPT针对不同单词产生的数字向量,将文本向量化后,词与词之间就可以定量地去度量他们之间的关系,挖掘词之间的联系。

Transformer

“Transformer是一种用于自然语言处理(NLP)的深度学习技术。它基于注意力机制,主要通过将原始的输入信息映射到另一个空间,来给出预测结果。

在自然语言处理中,Transformer模型可以帮助我们了解文本之间的关系,用来处理语言模型,做机器翻译,文本分类等”(此段文字来源于ChatGPT查询)。

ChatGPT将Word2Vec产生的向量序列输入到Transformer网络中,基于注意力机制查询生成结果。ChatGPT采用Transformer的Decoder结构。

上图是Transformer整体架构图,Transformer模型中有几个关键算子,第一个就是向量输入后产生Q、K、V时经过的权重矩阵W

Q

,W

K

,W

V

,权重矩阵的维度为向量长度x向量长度(GPT1向量长度为768,ChatGPT向量长度为12888)。

通常,矩阵与向量相乘完成的是一个空间到另外一个空间的转换,例如,在3D坐标系中,一个4x4矩阵可以对一个向量进行XYZ三维空间变换。那么在Transformer中大型的权重矩阵(例如768x768矩阵)可以将输入的文字向量(n x 768)在高维空间中做变换,使得在这个空间中,更容易找到文字之间的相关性。下图是权重矩阵的一个示例。

第二个重要的算子就是Attention(注意力机制),注意力机制可以捕捉到长距离向量之间的相关性(相隔较远的词),注意力包括了两个部分,一个是Masked Self-Attention,一个是Cross-Attention。

Masked是因为在做self-attention的时候decoder只会attend到它已经产生出来的信息,self-attention的输入和输出个数一样。Cross-attention将两个相同维度的嵌入序列不对称地组合在一起,而其中一个序列用作查询Q输入,而另一个序列用作键K和值V输入,因此Cross-attention可以生成任意长度文字的输出(输入输出向量长度相同,向量的个数不同)。

在Attention机制中还有一个multi-head的attention,即把向量长度裁剪成若干个向量(例如把向量长度为768的文字向量分成8个head去做attention,那么每个head的向量长度就是96),形成多个子空间,可以让模型去关注不同方面的信息。

对ChatGPT底层技术有了初步了解后,我们可以一起看看涉及到的工程问题。AI最主要的工程问题就是数据和算力。

ChatGPT数据

OpenAI在开发ChatGPT时使用了超过800万个标注数据,模型数据集分成六类,分别是维基百科、书籍、期刊、Reddit链接、Common Craw以及专门为任务设计的数据集。

ChatGPT数据集按照训练步骤来分可以分为SFT数据集(训练有监督模型)、RM数据集(训练奖励模型)和PPO数据集(强化学习训练)。

ChatGPT 的模型参数量和训练数据量还没有公开,但ChatGPT是基于GPT-3.5架构开发的,可以看到GPT-3的预训练数据有45TB,有人推测ChatGPT数据集规模在百T级别。

ChatGPT算力

不同于Bert采用Transformer编码器(Encoder)结构,GPT采用Transformer解码器(Decoder),其模型结构如上图右所示(其中Trm是一个Transformer结构)。

GPT系列模型包括GPT-1、GPT-2和GPT-3,模型层数、头数和词向量长度越来越大,其中GPT-3是ChatGPT的前一代模型,模型结构为96层、96注意头、12888向量长度的模型,可以完成1800种以上的任务,参数量达到1750亿。

GPT-3的训练使用了上万块Nvidia V100 GPU和28.5万个CPU,总算力为3.14E+23FLOPS,仅训练成本就超过了1200万美元,训练时长14.8天,训练的二氧化碳排放量约552吨。

ChatGPT基于GPT3.5架构的模型参数,训练成本和GPT-3同一数量级甚至更高。此外,ChatGPT的运营成本高,查询成本远高于Google传统搜索,Open AI的CEO山姆指出,调用运行ChatGPT进行聊天,每次回答问题的成本约为几美分。

ChatGPT距离商业落地还有很长的路要走,有科学家对GPT-3.5进行了心智理论测试,它的正确率逼近了人类九岁孩子的成绩,这已经是一个史无前例的成绩。

在某种程度上ChatGPT的成长历程和人类的大脑发育有一定的相似性,在幼儿阶段增加神经元数量(网络)并灌输大量数据去训练,到了一定的知识积累就可以采取强化学习的方式去增强认知。

不同的是在人类的教育过程中我们会有一些规则去约束(14岁时神经突触的数量减少,但是认知得到了大幅提升),而ChatGPT目前的神经网络结构不可控,且有不确定性。

加州大学伯克利分校的Russell教授认为,“我们目前不清楚ChatGPT的工作原理,也很可能无法弄清楚它们,这需要一些概念上的突破,而这样的突破很难预测”,他认为“构建真正智能的系统,我们应当更加关注数理逻辑和知识推理,我们需要将系统建立在我们了解的方法之上,这样才能确保AI不会失控,扩大规模不是通往智能的答案”。

关键词: 人工智能

上一篇:
下一篇:
精彩阅读

焦点滚动:驱动ChatGPT的核心技术

热点

ChatGPT基于GPT3 5架构的模型参数,训练成本和GPT-3同一数量级甚至更高。

全球报道:中电科网络底价4786.041万元挂牌转让成都数字城市运营30%股权

热点

中电科网络安全科技股份有限公司底价4786 041万元挂牌转让成都市数字城市运营管理有限公司30%股权。

热头条丨跟AI唠嗑,年入33万美元!prompt成核心竞争力

热点

ChatGPT的爆火,也让提示工程师的薪水水涨船高。

全球新动态:扩展性之外,零知识证明的Web3用例还有很多

热点

随着公链生态的扩张,以太坊一统天下的局面很难达成,跨链互操的需求越来越大。

热消息:​反其道而行,大学教授鼓励学生用 ChatGPT 写论文

热点

现如今,无论是否接受,AI已经渗透到学术、产业、研究等领域。

世界头条:河北广电新品发布会,广电5G数字化生活系统赋能未来社区全场景!

热点

2月21日,中国广电河北网络股份有限公司召开新品发布会,隆重推出“广电5G数字化生活系统”。

每日快播:从ChatGPT继续聊微软的云战略

热点

云服务理想状态是用户自服务,但目前对于企业来说,厂商的服务必不可少而且是核心诉求之一。

快手「2023·增量效应」磁力大会召开,「星榜」荣获“2022年度最具潜力代理”!

热点

作为快手磁力引擎优质合作伙伴,「星榜」受邀参会,并荣获磁力引擎颁发的“2022年度最具潜力代理”奖项。

腾讯悄悄在QQ造了一个「社交元宇宙」

热点

从超级QQ秀到QQ小窝,QQ“新次元宇宙”的崛起。

财富

全球观热点:抖音悄悄打造“全家桶”

资讯

抖音悄悄打造“全家桶”,抖音外卖,谁来买单?

全球时讯:放下XR,腾讯认清“现实”

资讯

放下XR,腾讯认清“现实”,腾讯的XR之路依旧充满变数。

谁“制造”了张大大?

资讯

谁“制造”了张大大?,被围观的张大大,还不能高枕“无忧”。

“职场茶水间”脉脉,又盯上了猎头生意

资讯

“职场茶水间”脉脉,又盯上了猎头生意,谁还用脉脉找工作?

爱奇艺活下来了,它还会涨价吗?

资讯

爱奇艺活下来了,它还会涨价吗?,长夜将明

“踩雷”威马,专业投资人不慌

资讯

“踩雷”威马,专业投资人不慌,投出去的钱,就没打算要回来。

“厂二代”集体涌入“出海四小龙”

资讯

“厂二代”集体涌入“出海四小龙”,“出海四小龙”的几家平台,几乎同时在年初都开启了对源头端工厂的争夺,以便能在今年快速拓展海外市场。

一款皮肤卖320万,电竞“炒鞋热”打造游戏潮牌

资讯

一款皮肤卖320万,电竞“炒鞋热”打造游戏潮牌,虚拟交易、股市涨跌,游戏饰品也有商业帝国​。

世界微资讯!漫威失灵,怪谁?

资讯

漫威失灵,怪谁?,英雄和观众,都青黄不接。

全球观热点:3亿话题,高启强带火的“无米锅”,能飙出广东吗

资讯

3亿话题,高启强带火的“无米锅”,能飙出广东吗,“胆子要大,步伐要小”

全球报道:中电科网络底价4786.041万元挂牌转让成都数字城市运营30%股权

中电科网络安全科技股份有限公司底价4786 041万元挂牌转让成都市数字城市运营管理有限公司30%股权。

热头条丨跟AI唠嗑,年入33万美元!prompt成核心竞争力

ChatGPT的爆火,也让提示工程师的薪水水涨船高。

全球新动态:扩展性之外,零知识证明的Web3用例还有很多

随着公链生态的扩张,以太坊一统天下的局面很难达成,跨链互操的需求越来越大。

热消息:​反其道而行,大学教授鼓励学生用 ChatGPT 写论文

现如今,无论是否接受,AI已经渗透到学术、产业、研究等领域。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个