天天热点评!ChatGPT官方鉴别器紧急发布!当代自相矛盾,不想却遭遇群嘲

2023-02-02 11:24:10   来源:商业新知网

Alex 鱼羊 发自 凹非寺 量子位 | 公众号 QbitAI

ChatGPT到处“造假”作弊,现在搞得OpenAI官方都坐不住了。


(资料图片仅供参考)

就在今天,OpenAI紧急发布 官方打假工具 :基于GPT打造,打开网页就能用。

好家伙,这岂不是 真·以己之矛攻己之盾 了?

一经上线,那叫一个火爆,不少网友第一时间就冲过去测试了。

然鹅,网友们一番试验之下却发现——

这官方工具,跟咱自己 瞎猜 效果也差不多啊???

官方出品,约等于瞎猜

有人给OpenAI这个新鉴别器投喂了一小段文字,结果首次尝试就翻车了。

这位网友首先让AI写下一段文字,内容是评价莎士比亚的一个历史剧角色,不过他向写作AI特意给了个提示:

请以人类的方式来写,争取逃过AI鉴别工具的火眼金睛。

结果没想到,还真就骗过了官方鉴别器。它看完给出回复:这“非常不可能是AI生成的”。

这个官方工具对文本内容的判定结果一共就5个等级:

非常不可能是AI生成的

不太可能是AI生成的

不清楚是不是AI生成的

可能是AI生成的

很可能是AI生成的

好家伙,这不是和真实情况完全相反嘛,让网友都蚌埠住了:真是因吹斯汀…

还有人把ChatGPT生成的内容一字不改,直接拿给鉴定AI看。但 鉴定 AI依然懵圈儿:“不清楚是不是AI生成的”。

这位网友也只好呵呵,并指出:

实际上,大家用ChatGPT等AI生成文字后,并不会原封不动地直接用,一般还会手动修改一下,或者丢进quillbot.com等润色工具里加工,很可能导致 鉴定 AI更摸不着头脑。

好吧,既然AI生成文字分不太清,那人类写的东西能认出来吗?

有人把自己之前在Hacker News上发表的大段评论 (纯手打) 喂给了 鉴定 AI,结果10次中有9次,AI都反馈说“不清楚是不是AI生成的”。

在网友们的一片吐槽声中,量子位也忍不住亲测了一下这个AI到底行不行。

首先,我们先给它看了段真人写的文字,内容是一位华盛顿大学博士对Tensor Core的讲解,这次AI并没有失误。

然后我们让ChatGPT来讲讲Tensor Core,并特地要求它尽量用人类的语气来写,但还是被AI 鉴定 出来了。

这样看来,这个工具似乎也不是完全不能用。

至于这次是不是ChatGPT发挥失常,你不妨也来鉴定看看:

但其实吧,这回连OpenAI自己,用词都显得相当谨慎。

官方数据明明白白写着,虽然这个新款打假工具比之前鉴定器都靠点谱,但其成功识别AI生成内容的概率,也仅为 26% ,还有 9% 的概率把人写的文本当成AI写的。

(这准确率似乎跟蒙答案也差不多……)

还用加粗文字昭告: 我们这个鉴别器啊,它并不完全靠谱 。

甚至还给自己这个新工具标了个“半成品”的标签。

嗯?这可不是OpenAI一直以来锣鼓喧天鞭炮齐鸣的宣传方式啊。

连自己家都不敢吹,还急急忙忙把打假工具推出来,OpenAI又是为哪般?

ChatGPT应用泛滥

说到底,还是ChatGPT太能以假乱真了。

要想从一堆材料里精准地分辨哪些是AI生成,哪些是人类书写,别说普通人了,连专家都有点力不从心。

Nature发文关注的一篇预印本论文就显示:ChatGPT瞎写的医学摘要,甚至能把专业审稿人骗住。

在这项研究中,研究人员给ChatGPT看了50个来自TOP医学期刊的 论文标题 。

然后,要求ChatGPT在完全不知道文章内容的情况下,根据标题和期刊风格写摘要。

给出的提示是酱婶的:

请在[链接]上以[期刊]格式,根据[标题]写一篇科学摘要。

(这里的链接实际上没有意义,ChatGPT不联网。)

为了防止ChatGPT在训练数据中见过这些个论文,研究人员还特地挑选的是在2022年11月下旬和12月出版的论文。因为根据OpenAI官方说法,ChatGPT仅掌握2021年9月以前的信息。

但就是这么重重设卡,当研究人员把原文摘要和ChatGPT写的假摘要一起拿去给人类科学家“盲审”时,令他们细思极恐的情况还是出现了:

ChatGPT凭空写的摘要中,有 32% 成了漏网之鱼,审稿人压根儿没看出来是AI写的。反倒是 14% 真摘要,被认定出自AI之手。

值得一提的是,研究人员还指出:

审稿人错误地将一部分真摘要归类为ChatGPT生成结果,这表明他们在审稿时是保持着高度怀疑的态度的。

而在教育界,老师们也开始受不了这种新型的“ChatGPT攻击”了。

美国的一项千人调查显示,89%的受访学生都用过ChatGPT写家庭作业。

连斯坦福这样的顶级学府也未能避免。The Stanford Daily发现,已经有不少学生在期末考试中使用了ChatGPT。

在受访的4497名斯坦福学生中,有17%的受访者表示,曾使用ChatGPT来协助他们完成秋季作业和考试。

其中又有5%的人,连编辑都没编辑,直接把ChatGPT写的东西给提交了……

△ 图源:The Standford Daily

打不过,就ban掉。

纽约的公立学校就发布了禁令:禁止在学校设备和Wi-Fi中使用ChatGPT。

他们给出的理由是:

虽然该工具可能快速提供问题的答案,但它无法培养批判性思维和解决问题的能力,会影响学生们的学业和终身成就。

在这样的背景之下,早在OpenAI官方动手之前,第三方检测工具就已经在社交媒体上引发了大量关注。

比如华人小哥Edward Tian打造的 GPTZero 。

这两天,他还推出了一个“专门为教育工作者打造”的升级版 GPTZeroX 。上线一天,就迎来了40万访问量和220万服务请求。

OpenAI此前也和其他高校一起搞过一个名叫 GPT-2 Output Detector 的鉴别器,是基于RoBERTa打造的。

不过这些工具的鉴定能力也未必就比人类强。

前面提到的让ChatGPT写医学论文摘要的那项研究,也用上了GPT-2 Output Detector,结果显示,其鉴别准确率为66%,略低于人类专家的68%。

是魔高一尺,还是道高一丈?

由此看来,OpenAI急吼吼推出一个也不咋靠谱的AI鉴别工具,也不奇怪:

再不有点表示,外界的压力扛不住啊。

但在评论区,还是有盲生毫不留情地指出了华点:

你们是真没想过,用这玩意儿反过来训练大语言模型,以后AI生成的文本就更难被发现了?

但不管怎么说,OpenAI现在正在努力表现出给自己踩刹车的样子。

除了鉴别器,有消息提到,他们正在尝试给AI生成内容加“水印”:

比如在ChatGPT生成文本时,在其中嵌入一个“不易察觉的隐秘信号”,以表明文本来源。

关键词: 研究人员 写的东西

上一篇:
下一篇:
精彩阅读

天天热点评!ChatGPT官方鉴别器紧急发布!当代自相矛盾,不想却遭遇群嘲

热点

ChatGPT到处“造假”作弊,现在搞得OpenAI官方都坐不住了。

焦点热议:淘丁集团 | 互联网跟帖评论有新规,内容审核平台也要加强防范

热点

国家网信办发布《互联网跟帖评论服务管理规定》。

世界热点评!2023年中国数据与内容技术十大预测

热点

本报告基于全球预测提供对中国市场的启示。

天天头条:2023年,通信运营商移动物联网的蓝海在哪里?

热点

毫无疑问,以物联网为代表的新兴业务快速发展,将会给信息通信业发展贡献更为充沛的动能。

印尼网络安全服务初创公司Peris.ai获East Ventures投资

热点

所有服务均采用先进技术结合Peris ai网络安全顾问和软件工程师的专业知识,确保所有客户获得最大程度的保护。

3000亿美元巨擘,全球SaaS头牌的掘金之路

热点

2022年营收为176 06亿美元,同比增长11 42%;净利润达47 56亿美元,净利润率超27%。

天天微动态丨30亿美元!CoStar拟收购默多克旗下房产网站运营商Move

热点

另一边,巴顿在西雅图也向董事会表明,CoStar-MoveInc 的任何交易都会给Zillow带来机会。

环球报道:IDC报告|指掌易零信任案例&移动安全案例入选《CIO视角:中国未来信任优秀案例分析,2022》

热点

指掌易金融行业客户浙商银行零信任案例和制造业客户TCL移动安全案例成功入选本次IDC优秀案例报告。

最新消息:ChatGPT,人工智能划时代的标志

热点

可以说,ChatGPT的出现是继AlphaGo之后一个划时代的标志。

财富

电脑酷狗中怎么截取音乐?怎样用酷狗截取音乐?

资讯

第一步想要使用酷狗音乐截取音乐,打开酷狗音乐,在上方选择工具标志。第二步铃声制作。第三步点击添加歌曲。第四步接着通过左右滑动标尺,

instagram什么意思?instagram中文名叫什么?

资讯

第一步、无需登录instagram网页版,只需打开pinsta me网站,在该网站中点击页面右上角的使用Instagram账号登录。第二步、登陆成功后就可以

安全证书错误解决办法是什么?浏览器出现安全证书错误怎么解决?

资讯

1、按下win+r打开运行,输入mmc。2、进入控制台1后点击文件 选择添加 删除管理单元 。3、随后找到 证书 ,点击右边的 添加 。4、勾选

图吧导航怎么使用教程?图吧导航是杂牌吗?

资讯

1) 行车分析功能图吧汽车卫士能够为车进行全方位的分析:包括本次及历史行车概况的分析;油耗分析,从车型、本次及历史油耗等维度进行评估;

英雄联盟盒子怎么登录?英雄联盟盒子在设置哪个里面开启?

资讯

首先我们需要下载LOL盒子工具,下载好以后再桌面找到LOL盒子桌面图标,然后用鼠标左键双击图标。然后我们需要关闭无盒子不开撸的那个。这个

融资丨「河络新图」完成数千万元天使+轮融资,复容投资领投

资讯

融资丨「河络新图」完成数千万元天使+轮融资,复容投资领投,本轮募集资金将用于公司产品管线研发的进一步推进和新技术平台的搭建。

融资丨「暖阳医疗」完成数千万元融资,匀升投资领投

资讯

融资丨「暖阳医疗」完成数千万元融资,匀升投资领投,本轮资金主要用于推进神经介入多款核心产品的临床注册,以及已获证产品的商业化。

快播:融资丨「所见数科」完成数千万元战略融资,山东高速集团旗下产业基金投资

资讯

融资丨「所见数科」完成数千万元战略融资,山东高速集团旗下产业基金投资,本轮融资将主要用于工作制服智能定制系统的升级完善、产业供应链的协

中文recovery模式怎么退出?recovery模式进不去咋办?

资讯

一、安卓手机1、大部分的安卓手机,只要重启手机就可以退出recovery模式了。2、如果没有一键重启的话,就先关机再开机,也能直接进入正常模

mdf文件手机用什么打开?mdf格式文件怎么用中文打开?

资讯

1、首先需要用到 Daemon软件 。2、下载并安装 Daemon 。3、完成后打开选择文件类型这里能看到 mdf 。4、点击左边蓝色的圆圈图标选择

焦点热议:淘丁集团 | 互联网跟帖评论有新规,内容审核平台也要加强防范

国家网信办发布《互联网跟帖评论服务管理规定》。

世界热点评!2023年中国数据与内容技术十大预测

本报告基于全球预测提供对中国市场的启示。

天天头条:2023年,通信运营商移动物联网的蓝海在哪里?

毫无疑问,以物联网为代表的新兴业务快速发展,将会给信息通信业发展贡献更为充沛的动能。

印尼网络安全服务初创公司Peris.ai获East Ventures投资

所有服务均采用先进技术结合Peris ai网络安全顾问和软件工程师的专业知识,确保所有客户获得最大程度的保护。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个