ChatGPT之父最新观点:通用人工智能是全人类的赌注

2023-03-01 18:31:07   来源:创业邦

让人类成功过渡到一个拥有超级智能的世界,可能是有史以来最重要、最有希望、最可怕的项目。


(资料图片)

来源丨创业邦(ID:ichuangyebang)

编辑丨及轶嵘

近日,ChatGPT之父阿尔特曼在OpenAI官网发布了他对AGI(通用人工智能)的看法和未来的计划。

阿尔特曼说,AGI可能带来严重的滥用、重大事故和社会混乱的风险。OpenAI希望通过制定一些原则来确保AGI的好处最大化,并控制它的潜在风险。原则包括:

*让AGI成为放大器,促进人类最大程度繁荣;

*确保AGI的访问权和治理得到广泛和公平的分享;

*通过部署功能较弱的版本来不断学习和适应,减少押宝“一次性成功”。

阿尔特曼说,成功过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望、最可怕的项目。AGI距离成功还很遥远,但赌注之大(好处和坏处都是无限的)有望让我们所有人团结起来。

以下是创业邦整理的全文,内容经编辑处理:

我们的使命是确保AGI(即比人类更聪明的AI系统)能够造福全人类。

如果AGI得以成功创建,这项技术可以通过增加丰富度、赋能全球经济、以及助力发现能带来无限可能的科学新知,来帮助人类提升能力。

AGI有赋予每个人不可思议的新能力的潜力。我们可以想象有这样一个世界,所有人都可以获得几乎所有认知的帮助,为人类的才智和创造力提供巨大的力量倍增器(force multiplier)。

但另一方面,AGI也会产生严重的滥用、重大事故和社会混乱的风险。由于AGI对社会产生的价值如此之高,我们认为,永久性地终止它的发展是不可能的,也是不可取的。相反,社会和AGI的开发者必须想办法把事情做对。

虽然我们无法准确预测会发生什么,而且目前的进展也可能会受挫,但我们可以阐明我们最关心的原则:

我们希望AGI能够为人类在宇宙中最大程度的繁荣赋能。我们不希望未来是一个不合格的乌托邦,我们希望将好的方面最大化,将坏的方面最小化,让AGI成为人类的放大器。

我们希望AGI的好处、访问权和治理得到广泛和公平的分享。

我们希望能够成功地应对那些巨大的风险。在面对这些风险时,我们承认,理论上看似正确的事情,在实践中往往比预期更奇怪。我们认为,我们必须通过部署功能较差的版本来不断学习和适应,最大程度地减少指望获得“一次性成功”(one shot to get it right)的情况。

短期来看

为了迎接AGI,我们认为现在有几件事非常重要。

第一,随着我们不断创建更强大的系统,我们希望部署它们,并获得在真实世界中操作它们的经验。我们相信这是谨慎导入和管理AGI的最佳方式——逐渐过渡到AGI世界比急速过渡要好。我们期望强大的AI能够加速世界的进步,但我们认为一个逐步适应的过程更好。

渐进的过渡,让民众、政策制定者和机构有时间了解正在发生的事情,亲身体验系统的好处和缺点,让经济做出相应的调整,并实施监管。它还允许社会和AI共同进化,并允许大家在风险相对较低的情况下弄清楚自己想要什么。

目前,我们认为,成功应对AI部署挑战的最佳方法,是采用快速学习和谨慎迭代的紧密反馈循环。社会将面临一些重大问题,包括AI系统被允许做什么、如何应对偏见、如何处理工作岗位流失等。最佳决策将取决于所采用的技术路径。与任何新领域一样,目前为止大多数专家预测都是错误的。在真空中做规划非常困难。

总体来说,我们认为世界更多地使用AI会带来好处,我们希望推广它(通过将模型放入API,将它们开源等)。我们相信,民主化的访问权也会带来更多和更好的研究、分散的权力、更多的益处,以及更多的人会贡献新的想法。

随着我们的系统越来越接近AGI,我们对模型的创建和部署变得越来越谨慎。相较于社会通常对新技术应用的态度,以及许多用户的希望,我们的决定更加谨慎。AI领域的一些人认为AGI(和后继系统)的风险是虚构的。如果结果证明他们是对的,我们会很高兴,但我们会把风险当作真实的存在。

在某些时候,利弊之间的平衡可能会发生变化。比如,在发生授权恶意行为者、造成社会和经济破坏以及加速不安全的竞赛的情况下,我们将实质性地改变我们的部署计划。

其次,我们正在创建更加一致和可控的模型。一个早期的例子是我们从GPT-3的第一个版本到InstructGPT和ChatGPT的转变。

我们认为重要的是,社会就使用AI的极其广泛的边界达成共识,在这些边界内,个人用户有很大的自由裁量权。我们最终的希望是全世界的机构就这些广泛的边界应该在哪里达成一致。但在短期内,我们计划对外部输入进行实验。世界上的机构需要加强其能力和经验,以便为有关AGI的复杂决策做好准备。

我们产品的“默认设置”(default setting)可能会相当克制,但我们计划让用户能够轻松地更改他们正在使用的AI的行为。让每个人自己做决定,观念多样性有巨大的内在力量,这两点是我们的信仰。

随着我们的模型日益强大,我们需要开发新的对齐技术(alignment technology)。我们的短期计划是使用AI来帮助人类评估更复杂的模型的输出,并监控复杂系统。从长远看,使用AI来帮助我们提出新的想法,以实现更好的对齐技术。

重要的是,我们认为经常需要在AI安全和能力两方面共同进步。将它们分开讨论是错误的二分法,因为在很多方面它们是相关的。我们最好的安全工作来自与我们最有能力的模型一起工作。换句话说,提高安全与能力进步的比率很重要。

第三,我们希望就三个关键问题开展全球对话:如何治理这些系统,如何公平分配它们产生的收益,以及如何公平共享访问权限。

除此之外,我们还尝试以一种让我们的激励与良好结果保持一致的方式来建立我们的架构。我们的章程中有一个条款是关于协助其它组织提高安全性,而不是在后期AGI开发中与他们竞争。我们对股东获得的回报设定了上限,这样我们就不会冒险和无节制地获取价值。我们有一个非营利组织来管理我们自己,让我们为人类的利益而经营(并且可以凌驾于任何营利利益之上),包括让我们做一些事情,比如在安全需要的情况下,取消我们对股东的股权义务,并资助世界上最全面的UBI(Universal Basic Income,普遍基本收入)实验。

我们试图完善我们的架构,以便让激励措施与良好结果保持一致。

我们认为在发布新系统之前提交独立审计是很重要的。我们将在今年晚些时候更详细地讨论这个问题。在某些情况下,在开始训练未来系统之前获得独立审查可能很重要,最终,同意限制用于创建新模型的计算能力的增长率。我们认为一些关于AGI的公共标准很重要,包括何时应停止训练、确定模型可以安全发布,或从生产使用中撤出模型。最后,我们认为重要的是世界主要国家的政府对超过一定规模的训练有洞察力。

长远来看

我们认为人类的未来应该由人类自己来决定,而且与公众分享进展的信息非常重要。所有试图建立AGI的努力都应该接受严格的审查,重大决策需要进行公众咨询。

第一个AGI将只是智能连续体上的一个点。我们认为进展很可能会从那里继续下去,可能会在很长一段时间内保持我们在过去十年中看到的进展速度。如果这是真的,世界可能会变得与今天截然不同,风险可能会非常大。一个错位的超级智能AGI可能会对世界造成严重的伤害;一个拥有超级智能的不好的政体也会导致这种情况发生。

有足够能力加速自身进步的AGI,可能会导致重大的变化以惊人的速度出现(即使过渡开始缓慢,我们预计它在最后阶段也会很快发生)。我们认为慢慢起飞,安全更容易得到保证。而且,在关键时刻如何协调让AGI各方共同减速可能很重要(即使在不需要这样做来解决技术对齐问题的世界中,也要给社会足够的时间来适应)。

成功过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望、最可怕的项目。距离成功还很遥远,但赌注之大(好处和坏处都是无限的)有望让我们所有人团结起来。

我们可能进入一个繁荣程度无法想象的世界。我们希望为世界贡献一个与这种繁荣相一致的通用人工智能。

原文:https://openai.com/blog/planning-for-agi-and-beyond/

本文为创业邦原创,未经授权不得转载,否则创业邦将保留向其追究法律责任的权利。如需转载或有任何疑问,请联系editor@cyzone.cn。

关键词: ChatGPT ChatGPT之父最新观点通用人工智能是

上一篇:
下一篇:
精彩阅读

ChatGPT之父最新观点:通用人工智能是全人类的赌注

资讯

ChatGPT之父最新观点:通用人工智能是全人类的赌注,让人类成功过渡到一个拥有超级智能的世界,可能是有史以来最重要、最有希望、最可怕的项目。

世界快消息!会员、员工、物业纷纷追债,梵音瑜伽要“凉”了?

资讯

会员、员工、物业纷纷追债,梵音瑜伽要“凉”了?,创始人回应:受疫情重创,会努力还债

全球新消息丨Snowflake创始人:现在,仅仅是我们愿景的起点

资讯

Snowflake创始人:现在,仅仅是我们愿景的起点,创业家是不追求7%确定回报,只冒险追求100%回报的人。

对冲基金新王旧朝:一代桥水一代城堡

资讯

对冲基金新王旧朝:一代桥水一代城堡,一切眼下的胜利,不过是时间还太短而已。

全球热文:2023如何做好抖音生意?交个朋友电商学苑联合500位商家给出答案

资讯

2023如何做好抖音生意?交个朋友电商学苑联合500位商家给出答案,站在巨人的肩上,教你如何快速做好生意。

沈晖反思威马困境:融资是我的短板,产品亮点不突出

资讯

沈晖反思威马困境:融资是我的短板,产品亮点不突出,风口浪尖之上,沈晖如何应对?

造车成功版“许家印”,在越南

资讯

造车成功版“许家印”,在越南,同样的梦想,不同的结局。

天天观速讯丨ChatGPT能取代多少程序员?

资讯

ChatGPT能取代多少程序员?,没人能在人工智能的洪流前保持傲慢。推动科技的人,都有可能反过来被科技取代。

如何强力卸载电脑软件?如何删除删不掉的app?

资讯

POKKI就是个合法流氓程序,因为利益原因,会各种强制安装,有的人卸载还卸不干净,这东西对电脑完全没作用,只是个推送程序的软件,有点像

复仇者恶魔之力要不要学?恶魔复仇者怎么穿武器?

资讯

恶魔之力是在你用恶魔技能放出过程中可以追加的额外攻击方式,消耗恶魔之力的数值。比如你放出恶魔之手已经出了,如果你立刻按ZXC其中一下

财富

ChatGPT之父最新观点:通用人工智能是全人类的赌注

资讯

ChatGPT之父最新观点:通用人工智能是全人类的赌注,让人类成功过渡到一个拥有超级智能的世界,可能是有史以来最重要、最有希望、最可怕的项目。

世界快消息!会员、员工、物业纷纷追债,梵音瑜伽要“凉”了?

资讯

会员、员工、物业纷纷追债,梵音瑜伽要“凉”了?,创始人回应:受疫情重创,会努力还债

全球新消息丨Snowflake创始人:现在,仅仅是我们愿景的起点

资讯

Snowflake创始人:现在,仅仅是我们愿景的起点,创业家是不追求7%确定回报,只冒险追求100%回报的人。

对冲基金新王旧朝:一代桥水一代城堡

资讯

对冲基金新王旧朝:一代桥水一代城堡,一切眼下的胜利,不过是时间还太短而已。

全球热文:2023如何做好抖音生意?交个朋友电商学苑联合500位商家给出答案

资讯

2023如何做好抖音生意?交个朋友电商学苑联合500位商家给出答案,站在巨人的肩上,教你如何快速做好生意。

沈晖反思威马困境:融资是我的短板,产品亮点不突出

资讯

沈晖反思威马困境:融资是我的短板,产品亮点不突出,风口浪尖之上,沈晖如何应对?

造车成功版“许家印”,在越南

资讯

造车成功版“许家印”,在越南,同样的梦想,不同的结局。

天天观速讯丨ChatGPT能取代多少程序员?

资讯

ChatGPT能取代多少程序员?,没人能在人工智能的洪流前保持傲慢。推动科技的人,都有可能反过来被科技取代。

如何强力卸载电脑软件?如何删除删不掉的app?

资讯

POKKI就是个合法流氓程序,因为利益原因,会各种强制安装,有的人卸载还卸不干净,这东西对电脑完全没作用,只是个推送程序的软件,有点像

复仇者恶魔之力要不要学?恶魔复仇者怎么穿武器?

资讯

恶魔之力是在你用恶魔技能放出过程中可以追加的额外攻击方式,消耗恶魔之力的数值。比如你放出恶魔之手已经出了,如果你立刻按ZXC其中一下

陈赫黄晓明关晓彤餐饮公司起诉成都IFS

近日,成都IFS运营主体龙锦综合开发(成都)有限公司新增多则开庭公告。

天天快资讯丨戴珊与俞永福之下,阿里最“危险”的两条业务线还好吗?

在过去的一年多中,强悍无比的阿里逐渐显露出一些颓势和疲态。

当前速递!苹果手机被盗,钱就没了?

苹果手机是所有消费类移动设备中最安全的,苹果在努力地提高设备安全性,保护客户免受各种威胁。

焦点!锦1位的出现是重新定义互联网招聘全新模式

锦壹位科技研发的锦1位“悬赏招聘”APP,是一个采用“移动互联+悬赏”的新颖模式招聘的平台。

科网股集体回暖 中概互联网ETF(513050)涨超3%

从资金流周期的角度来看,当前不论是港股还是A股的上行行情依然没有走完。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个