世界信息:跑分达ChatGPT的99%,人类难以分辨!开源「原驼」爆火,iPhone都能微调大模型了

2023-05-26 09:23:33   来源:商业新知网

自动测试分数达到 ChatGPT的99.3% , 人类难以分辨 两者的回答……

这是开源大模型最新成果,来自羊驼家族的又一重磅成员——华盛顿大学 原驼 (Guanaco) 。


(资料图)

更关键的是,与原驼一起提出的新方法 QLoRA 把微调大模型的 显存需求 从>780GB降低到<48GB 。

开源社区直接开始狂欢,相关论文成为24小时内关注度最高的AI论文。

以Meta的美洲驼LLaMA为基础,得到原驼 650亿参数版只需要48GB显存单卡微调24小时 , 330亿参数版只需要24GB显存单卡微调12小时 。

24GB显存,也就是一块消费级RTX3090或RTX4090显卡足以。

不少网友在测试后也表示,更喜欢它而不是ChatGPT。

英伟达科学家Jim Fan博士对此评价为: 大模型小型化的又一里程碑。

先扩大规模再缩小,将成为开源AI社区的节奏。

而新的高效微调方法QLoRA迅速被开源社区接受,HuggingFace也在第一时间整合上线了相关代码。

GPT-4做裁判,原驼得分达到ChatGPT的99.3%

论文中,团队对原驼总共做了三项测试,自动评估、随机匹配和人类评估。

测试数据来自小羊驼Vicuna和Open Assistant。

自动评估 由大模型天花板GPT-4当裁判,对不同模型的回答进行打分,以ChatGPT (GPT3.5) 的成绩作为100%。

最终原驼650亿版得分达到ChatGPT的99.3%,而GPT-4自己的得分是114.5%,谷歌Bard是94.8%。

随机匹配 ,采用棋类专业比赛和电子竞技同款的Elo记分机制,由GPT-4和人类共同做裁判。

原驼650亿和330亿版最终得分超过ChatGPT (GPT3.5) 。

人类评估 ,则是把原驼650亿版的回答和ChatGPT的回答匿名乱序放在一起,人类来盲选哪个最好。

论文共同一作表示,研究团队里的人都很难分辨出来,并把测试做成了一个小游戏放在Colab上,开放给大家挑战。

这里节选其中一个问题 (附中文翻译) ,你能分辨出哪个是ChatGPT回答的吗?

问题:How can I improve my time management skills? (如何提高时间管理技能?)

(完整测试地址在文末)

总的来说,原驼的优势在于 不容易被问题中的错误信息误导 ,比如能指出地球从来没有被科学界认为是平的。

以及擅长心智理论 (Theory of Mind) ,也就是 能推测理解他人的心理状态 。

但原驼也并非没有弱点,团队发发现它 不太擅长数学 ,以及容易用 提示注入攻击 把要求保密的信息从它嘴里套出来。

也有网友表示,虽然一个模型能在某个数据集上无限接近ChatGPT,但像ChatGPT那样通用还是很难的。

全新方法QLoRA,iPhone都能微调大模型了

原驼论文的核心贡献是提出新的微调方法 QLoRA 。

其中Q代表 量化 (Quantization) ,用低精度数据类型去逼近神经网络中的高精度浮点数,以提高运算效率。

LoRA是微软团队在2021年提出的 低秩适应 (Low-Rank Adaptation) 高效微调方法,LoRA后来被移植到AI绘画领域更被大众熟知,但最早其实就是用于大语言模型的。

通常来说,LoRA微调与全量微调相比效果会更差,但团队将LoRA添加到所有的线性层解决了这个问题。

具体来说,QLoRA结合了4-bit量化和LoRA,以及团队新创的三个技巧: 新数据类型4-bit NormalFloat 、 分页优化器 (Paged Optimizers) 和 双重量化 (Double Quantization) 。

最终QLoRA让 4-bit 的原驼在所有场景和规模的测试中 匹配16-bit的性能 。

QLoRA的高效率,让团队在华盛顿大学的小型GPU集群上每天可以微调LLaMA 100多次……

最终使用Open Assistant数据集微调的版本性能胜出,成为原驼大模型。

Open Assistant数据集来自非盈利研究组织LAION(训练Stable Diffusion的数据集也来自这里),虽然 只有9000个样本 但质量很高,经过开源社区的人工仔细验证。

这9000条样本用于微调大模型,比100万条指令微调 (Instruction Finetune) 样本的 谷歌 FLAN v2效果还好。

研究团队也据此提出两个关键结论:

数据质量 >> 数据数量

指令微调有利于推理,但不利于聊天

最后,QLoRA的高效率,还意味着可以用在手机上,论文共同一作Tim Dettmers估计以 iPhone 12 Plus的算力每个晚上能微调300万个单词 的数据量。

这意味着,很快手机上的每个App都能用上专用大模型。

关键词:

精彩阅读

5G移动电话用户达6.34亿!工信部发布2023年1-4月份通信业经济运行情况|今日热文

热点

5G移动电话用户达6 34亿户,比上年末净增7308万户,占移动电话用户的37 1%,占比较上年末提高3 8个百分点。

加速数实融合,数据交易3.0模式上新 天天热闻

热点

类似把苹果做成‘灌装饮料’,我们希望把数据加工转化为互相连接的知识,成为批量生产的标准化数据产品。

今日最新!大模型之战,科大讯飞拼了

热点

除了主营业务未达预期外,科大讯飞的智慧城市、智慧汽车、智慧医疗等业务表现也较为一般。

即时焦点:最新爆料!ChatGPT或嵌入Windows11,6月公测

热点

微软将于6月开始公测WindowsCopilot,然后再将其更广泛地推广到现有的Windows11用户。

元宇宙降温后,百度希壤业务负责人马杰退场丨游戏干线

热点

近日有报道称,百度副总裁、百度“希壤”业务负责人马杰已经于近期离职。

ChatGPT的胜利,宣告知识图谱的消亡?

热点

过去10年,知识图谱可谓是最接近“人工智能”的概念。

每日时讯!云知声发布山海大模型,创始人黄伟:目标年内达到比肩ChatGPT的通用能力

热点

2022年底,云知声就已意识到U+X战略期待已久的AGI时代到来了,过去所有的积累都到了突破的时候。

百度何俊杰:用AI原生思维重构百度移动生态,让AI人人可用

热点

新浪潮汹涌而至,AI正在重构未来,千行百业都将迎来新的机会。

Glassnode 数据研究:回顾比特币铭文爆发的“疯狂一周”_当前讯息

热点

本文将深入探讨对BRC-20代币的需求对比特币链上活动、铭文类型以及矿工收入的影响。

财富

环球简讯:花钱吃剩菜!“剩菜盲盒”正成为年轻人的新型就餐方式?

资讯

花钱吃剩菜!“剩菜盲盒”正成为年轻人的新型就餐方式?,在面临“食品安全”“品类较少”“盈利较少”等种

SHEIN也想做时尚女孩的“拼多多” 全球视讯

资讯

SHEIN也想做时尚女孩的“拼多多”,“好生意哪有拱手让人的道理。”

3D打印40年:从小众技术到大众应用还有多远?-每日热议

资讯

3D打印40年:从小众技术到大众应用还有多远?,到底哪些行业被3D打印改变?

天天时讯:连锁面馆行业“遇冷”,五爷拌面的挫折与野心

资讯

连锁面馆行业“遇冷”,五爷拌面的挫折与野心,新中式面馆“遇冷”?

视讯!黄峥VS许仰天,谁是欧美下沉市场之王?

资讯

黄峥VS许仰天,谁是欧美下沉市场之王?,海外市场虽然辽阔,但路途并不会平坦。

OpenAI竞对再被谷歌加注,4.5亿美元新融资到位,累计已吸金14.5亿美元-最新资讯

资讯

OpenAI竞对再被谷歌加注,4 5亿美元新融资到位,累计已吸金14 5亿美元,Anthropic再次官宣获得了4 5亿美元C轮融资。

不止茶饮烘焙,半个餐饮圈都爱上了“低糖”_当前头条

资讯

不止茶饮烘焙,半个餐饮圈都爱上了“低糖”,低糖、低脂、低卡,餐饮圈进入“健康年”

融资丨小型化高温质子交换膜燃料电池项目“氢新科技”再获千万级别天使+轮融资-全球观焦点

资讯

融资丨小型化高温质子交换膜燃料电池项目“氢新科技”再获千万级别天使+轮融资,本轮募集资金将继续用于公司

精神向内,行动向外,创业者的人生加减法_焦点日报

资讯

精神向内,行动向外,创业者的人生加减法,发掘值得关注的闪光青年,见证不一样的青年创造力。

我,25岁,陷入“衰老焦虑”

资讯

我,25岁,陷入“衰老焦虑”,年轻人的美貌焦虑,养肥了这条千亿赛道

5G移动电话用户达6.34亿!工信部发布2023年1-4月份通信业经济运行情况|今日热文

5G移动电话用户达6 34亿户,比上年末净增7308万户,占移动电话用户的37 1%,占比较上年末提高3 8个百分点。

加速数实融合,数据交易3.0模式上新 天天热闻

类似把苹果做成‘灌装饮料’,我们希望把数据加工转化为互相连接的知识,成为批量生产的标准化数据产品。

今日最新!大模型之战,科大讯飞拼了

除了主营业务未达预期外,科大讯飞的智慧城市、智慧汽车、智慧医疗等业务表现也较为一般。

即时焦点:最新爆料!ChatGPT或嵌入Windows11,6月公测

微软将于6月开始公测WindowsCopilot,然后再将其更广泛地推广到现有的Windows11用户。

元宇宙降温后,百度希壤业务负责人马杰退场丨游戏干线

近日有报道称,百度副总裁、百度“希壤”业务负责人马杰已经于近期离职。

西城区启动“守袋行动”筑牢金融风险防线-环球焦点

西城区启动“守袋行动”筑牢金融风险防线

杨亚林在怒江州调研时强调:守住线管住面 全力维护边境民族地区安全稳定 环球热讯

5月23日至25日,省委常委、政法委书记杨亚林到怒江傈僳族自治州调研时强调,牢牢守住边境安全防线,做实社

天天快资讯:英首相女友赴美签证被拒_或因其曾对东非进行了访问

今天来聊聊一篇关于英首相女友赴美签证被拒,或因其曾对东非进行了访问的文章,网友们对这件事情都比较关注

qq主题怎么设置自己的照片(手机QQ应用主页面的设置)|世界最资讯

1、首先打开手机QQ应用主页面,在页面左侧的展开菜单中,找到“个性装扮”选项,点击进入。2、进入“个性装

天天实时:斗罗大陆之选择背景_斗罗大陆开局选择背景

1、唐门外门弟子唐三,因偷学唐三内门绝学为唐门所不容,跳崖明志时却发现没有死,反而以另外一个身份来到

当前讯息:tpo防水卷材是什么材质_tpo防水卷材是什么

1、TPO防水卷材即热塑性聚烯烃类防水卷材,是以采用先进的聚合技术将乙丙橡胶与聚丙烯结合在一起的热塑性聚