首页> 热点 >

今日热文：参加ChatGPT论坛，这样回答可能会优于邀请微软专家

2023-03-07 14:14:43 来源：商业新知网

笔者上周晚受邀参加了一个ChatGPT论坛，活动方邀请了不少“专家”，期间有一个B专家问了C专家一个问题：

B: 请问C专家，ChatGPT用了多少层神经网络？

C：C说，我只关注ChatGPT技术的商业应用，我知道商业应用前途很广,bla,blabla

(资料图片)

B这样问C，是因为C来自微软公司，自称是微软人工智能专家，B看不惯那么多现场美女崇拜的眼神看C，故此不免让人觉得B专家（某名校博士）是有挑战C专家的意味。

那么我们究竟应该如何装逼呢？（不对，如何了解透ChatGPT的背后肌理呢？）

一：ChatGPT的深层神经网络有多少层？

ChatGPT的深层神经网络的层数不是固定的，它可以通过控制模型参数来调整深度。目前，OpenAI已经发布了多个版本的ChatGPT，包括GPT-1、GPT-2、GPT-3等，它们的层数和参数量都不同。

以最新的ChatGPT-3为例，它包括了1750亿个参数，其中包括了96层的Transformer模型。每层Transformer模型包括了多头自注意力机制、前向神经网络和残差连接等组件。相比于之前的版本，ChatGPT-3在模型深度和参数量方面都有了巨大的提升，因此它在自然语言处理和其他领域的应用中也取得了很好的效果。

需要注意的是，模型深度并不是唯一的决定模型性能的因素，模型结构、参数量、训练数据、优化算法等因素也都会对模型性能产生影响。

二：AI工具现在井喷，有没有哪个网站做集合收录介绍的？类似当年hao123？

英文版Hao123

https://www.futurepedia.io/

中文版 Hao123

https://mp.weixin.qq.com/s/YdjGUpSamLl9c7OWS9YB1g

三：什么是Prompt?Prompt的分类？如何设计Prompt？

prompt顾名思义就是“提示”的意思，应该有人玩过你画我猜这个游戏吧，对方根据一个词语画一幅画，我们来猜他画的是什么，因为有太多灵魂画手了，画风清奇，或者你们没有心有灵犀，根本就不好猜啊！这时候屏幕上会出现一些提示词比如3个字，水果，那岂不是好猜一点了嘛，毕竟3个字的水果也不多呀。这就是prompt的魅力。

呢么如何设计prompt？

在人机交互中，我们想让计算机完成一项任务，是不是也可以给他一点提示呢？可以给什么样的提示呢？是不是可以像“你画我猜”那样给出一些语言型的提示呢？

答案是yes! 本身NLP就是自然语言处理嘛，我们对输入进行改造，在输入之外再接prompt语言，同样还是做NLP，万变不离其宗，本身性质都是一样的，其宗旨就是万物皆可语言模型。

那如何设计prompt呢？本质上可以从以下两类来考虑：

答案提示型prompt，根据任务的目标、答案的类型设计prompt，通过prompt引出答案。

任务提示型prompt，提醒模型是要做什么任务，因为同样输入一句话，可以做的任务太多了，通过prompt让模型知道这次是要做什么任务。

分解：答案指示型prompt，拿大家常举的电影评论情感分类任务为例

输入：I like this movie.

输出：这句话的情感极性标签：positive/negative

想象一下你是机器，用户发给你一句话："I like this movie. " 你怎么知道用户想让你干啥？这时候我们就可以再输入一些答案指示型的语言引导模型做出决策，比如：

输入+prompt：I like this movie. The movie is [mask].

当然，prompt也可以是其他的句子：“The film is [mask]”, "It is a [mask] movie"

[mask]位置就是我们想让模型预测出来的词语。我们知道NLP预训练模型对这种填空题是很擅长的，模型很可能会预测出“good”, "interesting"等词汇，因为它在预训练的时候见过很多类似的说法了。诚然，这并不是我们最终想要的positive/negative类别，不要慌，这时候就需要把预测出来的词汇映射到标签类别中，比如“good”, "interesting"归为positive。

所以prompt并没有想象的那么方便呢，但是它为什么香呢？你发现没，这样一顿操作之后，我们没有增加任何参数，完全可以做无监督任务，直接调用合适的预训练模型，加载预训练的参数，让模型直接预测出结果，虽然增加了prompt模板设计、标签映射等人工操作成本，但它不需要任何数据标注，确实会更香。

当然xxx位置还可以是短语、句子，至于特定的任务。