今日关注:让ChatGPT长“手”!Meta爆火新论文,让语言模型学会自主使用工具

2023-02-14 10:20:24   来源:商业新知网

鱼羊 Pine 发自 凹非寺 量子位 | 公众号 QbitAI

ChatGPT爆火,Meta也坐不住了。

微软和谷歌正在搜索引擎那边刺刀拼刺刀呢,谁想Meta冷不防抛出一篇新论文,顿时吸引全场目光:

瞄准ChatGPT的“软肋”,让大语言模型 自行学会了使用工具 !


(资料图)

简单来说,基于Meta的这个思路,ChatGPT这些大语言模型可以缺啥补啥:

不会算数,就自己掏出计算器计算;需要最新信息,就自己连接搜索引擎搜索……

是不是有点AI自己操作自己内味儿了?

论文一出,不少AI研究者就将其视作“ 过去几周里最重要的论文 ”。

这篇论文给人们打开了思路,让大语言模型未来可以成为所有事情的起点。

还有网友表示:我老婆原本不太关心AI,听说Meta这论文都惊了。普通人真的得好好想想这事儿了。

自学工具用法的大语言模型

这一回,Meta给这个会使工具的语言模型起名 Toolformer 。

Toolformer的内核逻辑,总结下来很简单,就是:

专业的任务交给专业的工具来做 。

在生成文本的过程中,遇到特定的任务,Toolformer会直接调用所需工具的API。

比如说,在执行这个任务:1400名参与者,有400人通过了测试,占多大比例? (为了让ChatGPT掌握数学运算,OpenAI可没少折腾,详见量子位:ChatGPT连夜迭代:你老婆不好使了)

Toolformer丝毫不慌,直接“掏出”计算器,现场计算得出结果: 29% 。

又或者说,想要备注个事情,只知道是周五,具体日期还不知道?

没关系,翻出日历查一下就好了。

甚至翻译任务也可以直接丢给它,各国语言都能够识别并翻译,直接省去了在软件切换语言的工夫。

除了这些工具之外,Toolformer还能够调用Q&A以及搜索引擎等工具。

这时,就已经有网友开始畅想未来了:

现在,ChatGPT版必应能帮你比较酒店价格,那未来有了Toolformer,预定性价比高的酒店岂不是也可以甩给AI去做了。

不过话说回来,Toolformer面对不同的任务都能行云流水般地调用对应的工具,它是怎么做到的呢?

一言以蔽之,Toolformer经过训练,能够在生成文本中插入API调用,直接将任务外包出去。

在这其中,训练的过程是以 自监督 的方式完成的。这意味着无需大量人类标注好的数据,Toolformer只需要少量演示就能学会调用API。

具体来说,先给Toolformer提供少量已经手动标注好的例子,然后让语言模型在实践中 生成一个更大的包含示例的数据集 。

这个过程主要分成三步:

首先是 取样 ,通俗点讲就是看输入的文本提示中,哪个地方需要调用哪种工具,然后直接将“调用的API”插入到对应的地方;

其次是 执行 ,执行上一步的“调用API”任务,将生成的文本直接插入进去;

最后是 过滤 ,上一步中工具生成的文本如果对输入文本来说用处不大的话,就可以直接pass掉,保留对文本有用的地方。

这样一来,基于这些有用的数据集,Toolformer便可以对预先训练好的大语言模型进行微调。

讲了这么多,Toolformer的真实效果到底如何,有没有一个横向的数据对比?

论文将Toolformer和多个其他大语言模型,包括GPT-J,OPT (66B) 以及GPT-3 (175B) 进行了对比,比较了它们在数学、Q&A以及机器翻译等方面的能力。

结果显示,在学习使用工具后,GPT-J的零样本学习性能的到了显著的提高。

△ Toolformer:是在GPT- J上微调,并加强了CCNet子集中的API调用/ Toolformer (disabled):同上,但解码期间禁用API调用

并且在大多数任务上性能都有明显提高,在一些下游任务中Toolformer甚至已经超过了GPT-3。

“未来大语言模型发展的重要分支”

说到这里,不知道你怎么看这件事儿。

有不少网友是已经按捺不住,想着去拔AI电源了。

而引发更多讨论的,是这样一种观点:Toolformer可能是未来LLM(大语言模型)发展的一个重要分支。

大语言模型进化出使用工具的能力,知道应该在何时、使用何种工具来实现需求,也就意味着许多在今天还需要人类和AI协作完成的工作,未来AI都能自己搞定了。

比如现在还多少有些“人工智障”的语音助手,如果背后有ChatGPT+Toolformer的技术能力支撑,那么从挑选符合需求的餐厅,到直接订座,这一系列动作都可以被丝滑地串联起来。

又比如微软的必应搜索接入ChatGPT。如果这些大语言模型能充分调用各种API、使用UI,那它不仅能帮人们完成搜索,还能完全改变人们操作网页的方式——一切输入都可以化简为自然语言。

甚至,ChatGPT这样的模型,借助各种API重写自己的代码,也将成为可能。

事实上,让AI掌握工具的使用方法这个研究方向,也并不只有Meta在做。

比如谷歌即将嵌入到搜索中的 Bard ,背后模型LaMDA就内置了一套工具箱,包括计算器、翻译器和访问搜索引擎获取外部信息的接口。

还有开源项目 LangChain ,也致力于将大语言模型与外部的计算、知识来源相结合,以开发真正可用的应用程序。

而现在,Meta又使大模型对工具的使用“熟练度”、“自主性”,更上一层楼。

不过,也有网友指出,Toolformer所展现出的“自学”能力,还是一个初级、“狭义”的版本。

这些模型本身仍然是纯粹的函数:给定相同的输入(包括采样时的随机值),它将总是产生相同的输出。 有点像是在说,一个大语言模型能学会将特定领域的语言作为其自然语言的一部分,以此纳入来自外部工具的知识。

One More Thing

Meta新论文炸场,还挑动了人类的“反思”神经。

这不,新鲜梗图已经出炉:

人类在沉迷,而机器在学习。

关键词: 语言模型 搜索引擎

上一篇:
下一篇:
精彩阅读

环球微资讯!焦点|多地支持与规范措施并举 激发平台发展潜力助经济提质换挡

热点

最近一段时间,多地表态支持平台经济发展,激发平台经济发展潜力。

世界消息!HTC VIVE举办策略沟通暨新品体验会:XR轻体验+HTC产业、商业新思考

热点

2月13日,HTCVIVE在北京成功举办“HTCVIVE策略沟通暨新品体验会”。

超聚变“聚力”湾区:增长曲线上的价值“延长线”

热点

自2021年成立以来,超聚变不断跑出高速的增长曲线。

【环球热闻】斯坦福大学团队提出AI生成文本检测器DetectGPT,通过文本对数概率的曲率进行可解释判断

热点

随着以ChatGPT等大型语言模型的爆火,学界和工业界目前已经开始重视这些模型的安全性。

每日速递:美团联合创始人王慧文宣布复出进军AI领域,望打造中国OpenAI

热点

瑞银集团报告显示,ChatGPT在推出两个月后的月活用户就突破了1亿,成为史上用户增长速度最快的消费级应用程序。

焦点播报:生成式AI,一场生死之战

热点

2022年11月30日,微软巨资投入的OpenAI公司推出ChatGPT,一周之内圈粉过亿,火爆全球。

最新消息:ToB软件遇上ChatGPT,没有天翻地覆

热点

科技圈正在掀起一场变化,它就是ChatGPT的爆火。

环球微资讯!为什么飞书很难做起来?

热点

企业微信,以腾讯云为底座,微信用户为基础,微信支付为保障,也构建了一个服务中小企业的生态。

【世界播资讯】百胜之声丨『胜券商品』如何驱动商品运营数智化?

热点

精细化运营、智能化运营已成为零售品牌运营致胜的必要手段,百胜软件期待与更多零售品牌客户深入合作,智慧驱动业务发展!

财富

录屏中断如何修复文件?如何修复u盘损坏文件?

资讯

1 打开FixVideo软件,点击【添加文件】功能,添加要修复的视频文件。2 成功添加完文件后,点击【修复文件】功能按钮,开始文件修复。3 当修

万能激活码生成器页面?手机免费注册码生成器?

资讯

1、输入用户名2、输入公司名字3、序列号是根据用户名和公司得到的先粘贴激活界面的申请号至注册机中的Request中,点击Generate算出激活码,

没有管理员权限怎么解决?怎样获取管理员权限?

资讯

1、首先搜索 gpedit msc打 开本地组策略管理器,然后再依次展开 计算配置 windows配置 安全设置 本地策略 点击安全选项 。2、然后找到

低级格式化软件有哪些?固态硬盘低级格式化有用吗?

资讯

1 可以直接在 DOS里使用dos命令 对磁盘进行低级格式化2 也可以在光盘或者U盘PE系统中 使用磁盘工具, 对硬盘进行低级格式化操作3 甚至

excel方框对号怎么打?对号快捷键怎么打?

资讯

第一步,选中想要打出对号的单元格。第二步,点击顶部菜单栏插入第三步,点击其中的符号按钮。第四步,选择其他符号第五步,将子集改为数字

当前滚动:“壮年”中国超市未来可期

资讯

“壮年”中国超市未来可期,零售商应该给顾客一个“来店的理由”。

世界热消息:融资丨「多甜食品」完成3000万元A轮融资,鲜食之都产业基金独家投资

资讯

融资丨「多甜食品」完成3000万元A轮融资,鲜食之都产业基金独家投资,本轮融资将主要用于多甜食品供应链建设、产品研发、大单品品牌的营销及推

全球观速讯丨“人人都是大学生”的时代,餐厅的盘子谁来端?

资讯

“人人都是大学生”的时代,餐厅的盘子谁来端?,年轻人一面就业难,一面却宁可“打螺丝”也不愿当服务员,背后的原因值得深思。

天天资讯:医美行业,收留35岁大厂失意者

资讯

医美行业,收留35岁大厂失意者,跳出大厂后发现,35岁也没有想象中那么可怕。

【焦点热闻】人工智能的路,谷歌走窄了

资讯

人工智能的路,谷歌走窄了,让人工智能生成内容能够真正和自己的优势业务融合,这才是谷歌的前景方向。

环球微资讯!焦点|多地支持与规范措施并举 激发平台发展潜力助经济提质换挡

最近一段时间,多地表态支持平台经济发展,激发平台经济发展潜力。

世界消息!HTC VIVE举办策略沟通暨新品体验会:XR轻体验+HTC产业、商业新思考

2月13日,HTCVIVE在北京成功举办“HTCVIVE策略沟通暨新品体验会”。

超聚变“聚力”湾区:增长曲线上的价值“延长线”

自2021年成立以来,超聚变不断跑出高速的增长曲线。

【环球热闻】斯坦福大学团队提出AI生成文本检测器DetectGPT,通过文本对数概率的曲率进行可解释判断

随着以ChatGPT等大型语言模型的爆火,学界和工业界目前已经开始重视这些模型的安全性。

每日速递:美团联合创始人王慧文宣布复出进军AI领域,望打造中国OpenAI

瑞银集团报告显示,ChatGPT在推出两个月后的月活用户就突破了1亿,成为史上用户增长速度最快的消费级应用程序。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个