当前速看:Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了

2023-03-06 11:07:19   来源:商业新知网

来源 | 机器之心


(资料图)

编辑 | 机器之心编辑部

【导读】 大脑活动到图像,Stable Diffusion 能重建。

如果人工智能可以解读你的想象,将你脑海中的图像变成现实,那会怎样?

虽然这听起来有点赛博朋克。但最近发表的一篇论文,让 AI 圈吵翻了天。

这篇论文发现,他们使用最近非常火的 Stable Diffusion,就能重建大脑活动中的高分辨率、高精准图像。作者写道,与之前的研究不同,他们不需要训练或微调人工智能模型来创建这些图像。

论文地址:https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2.full.pdf

网页地址:https://sites.google.com/view/stablediffusion-with-brain/

他们是怎么做到的呢?

在此研究中,作者基于 Stable Diffusion 来重建通过功能磁共振成像 (fMRI) 而获得的人脑活动图像。作者也表示,通过研究与大脑相关功能的不同组成部分(例如图像 Z 的潜在向量等),也有助于了解隐扩散模型的机制。

这篇论文也已经被 CVPR 2023 接收。

该研究的主要贡献包括:

证明了其简单框架可以从具有高语义保真度的大脑活动中重建高分辨率(512×512)图像,而无需训练或微调复杂的深度生成模型,如下图所示;

通过将特定组成部分映射到不同的大脑区域,该研究从神经科学的角度定量解释了 LDM 的每个组成部分;

该研究客观地解释了 LDM 实现的文本到图像转换过程如何结合条件文本表达的语义信息,同时保持原始图像的外观。

方法概览

该研究的总体方法如下图 2 所示。图 2(上)是该研究中使用的 LDM 示意图,其中,ε 表示图像编码器,D 表示图像解码器,τ 表示文本编码器(CLIP)。

图 2(中)是该研究的解码分析示意图。研究者分别从早期(蓝色)和高级(黄色)视觉皮层内的 fMRI 信号中解码了呈现图像 (z) 和相关文本 c 的潜在表征。这些潜在表征被用作生成重建图像 X_zc 的输入。

图 2(下)是该研究的编码分析示意图。研究者构建了编码模型来预测来自 LDM 不同组成部分的 fMRI 信号,包括 z、c 和 z_c。

有关 Stable Diffusion 这里就不做过多介绍,相信很多人都比较了解。

结果

我们来看一下该研究的视觉重建结果。

解码

下图 3 展示了一个主体(subj01)的视觉重建结果。研究者为每个测试图像生成了五个图像,并选择了具有最高 PSM 的图像。一方面,只用 z 重建的图像在视觉上与原始图像一致,但未能抓住其语义内容。另一方面,只用 c 重建的图像生成的图像具有很高的语义保真度,但在视觉上却不一致。最后,使用 z_c 重建的图像可以生成具有高语义保真度的高分辨率图像。

图 4 展示了所有测试者对同一图像的重建图像(所有图像都是用 z_c 生成的)。总体来说,各测试者的重建质量是稳定和准确的。

图 5 是定量评估的结果:

编码模型

图 6 显示了编码模型对与 LDM 相关的三种潜像的预测精度:z,原始图像的潜像;c,图像文本注释的潜像;以及 z_c,经过与 c 交叉注意力反向扩散过程后的 z 的加噪潜像表征。

图 7 显示,当加入少量的噪声时,z 对整个皮层的体素活动的预测比 z_c 更好。有趣的是,当增加噪声水平时,z_c 对高位视觉皮层内体素活动的预测优于 z,表明图像的语义内容逐渐被强调。

在迭代去噪过程中,添加噪声的潜在表征如何变化?图 8 显示,在去噪过程的早期阶段,z 信号主导了 fMRI 信号的预测。在去噪过程的中间阶段,z_c 对高位视觉皮层内活动的预测比 z 好得多,表明大部分语义内容在这个阶段出现了。结果显示了 LDM 如何从噪声中提炼和生成图像。

最后,研究者探讨了 U-Net 的每一层都在处理什么信息。图 9 显示了去噪过程的不同步骤(早期、中期、晚期)以及 U-Net 不同层的编码模型的结果。在去噪过程的早期阶段,U-Net 的瓶颈层(橙色)在整个皮层中产生了最高的预测性能。然而,随着去噪的进行,U-Net 的早期层(蓝色)预测早期视觉皮层内的活动,而瓶颈层则转向对更高的视觉皮层的卓越预测能力。

关键词: 组成部分 高分辨率

上一篇:
下一篇:
精彩阅读

全球头条:美国发布《人工智能风险管理框架》

热点

虽然有无数标准和实践可以帮助组织降低传统软件或信息系统的风险,但是AI系统所引发的风险具有独特性。

头条:杀疯了,AIGC,太牛逼了吧!

热点

近期ChatGPT的火爆出圈,再次引发了全球对人工智能技术发展的广泛关注。

天天时讯:科技部部长用梅西解释ChatGPT;欧盟或将批准微软收购动视暴雪|产业周报

热点

据游资网统计,下周开测新游的大厂包括B站游戏、网易游戏等。

今日播报!被ChatGPT带飞的AIGC,能为垂直产业做些什么?

热点

深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,都在助力AIGC的快速发展。

PC的时代与时代的PC(上)——7000字长文解读PC的发展历史与VR的发展阶段

热点

当前VR处于第一阶段到第二阶段的过渡时期,Quest2历史地位近似AppleII,定义了一体机+手柄的形态。

环球微动态丨一文了解边缘计算与云计算

热点

在全球各地实时运行的AI应用可能需要巨大的本地处理能力,而且往往是在远离中央云服务器的偏远地区。

焦点速看:亿田智能:密织销售网点,信息化手段赋能终端销售

热点

亿田智能:密织销售网点,信息化手段赋能终端销售!

看热讯:谷歌高管回应员工的质疑:AI聊天机器人Bard不仅仅是搜索而已

热点

谷歌高管回应员工的质疑:AI聊天机器人Bard不仅仅是搜索而已。

全球热点评!ChatGPT会给创投行业带来哪些影响?

热点

AI本身可以作为内容创作的主体,同时可以根据人类的反馈进一步深化“学习”,从而产生机器本身的进步。

财富

qq飞车白羊为什么这么厉害?qq飞车怎么才能得到绵羊?

资讯

凡是开通个人后花园的玩家,可进行专属任务中开通送宠物免费获得一只永久的羊年纪念宠物【白羊萝莉】(装备该宠物进入花园,可以获得额外花

英雄联盟男枪打野出什么装备?英雄联盟男枪上单出装?

资讯

第一件装备出星蚀,首先它的属性就很优秀,攻击力,穿甲,吸血。这件装备的被动厉害在于两次独立攻击或者技能命中能造成最大生命值百分比伤

全球观热点:首发丨质肽生物完成亿元级B轮融资,蓝驰创投领投

资讯

首发丨质肽生物完成亿元级B轮融资,蓝驰创投领投,本轮融资募集资金将主要用于在研产品管线的临床开发,以及生产基地建设。

每日聚焦:融资丨AR新锐企业雷鸟创新完成首轮过亿元融资

资讯

融资丨AR新锐企业雷鸟创新完成首轮过亿元融资,本轮融资将用于推动BirdBath和光波导两条技术路线的消费级AR眼镜的技术研发、量产、市场扩容以及

融资丨虚拟人底层技术公司奥丁科技完成Pre-A轮融资,毅达资本独家投资

资讯

融资丨虚拟人底层技术公司奥丁科技完成Pre-A轮融资,毅达资本独家投资,本轮融资由毅达资本独家投资。本次融资的资金将主要用于技术研发、团队

win32启动失败怎么办?win11不能运行exe程序?

资讯

Rundll32 exe 病毒– 将笔式驱动器连接到 Windows 系统时。Rundll exe 应用程序错误– 这可能是由于您的防病毒系统中的某

魔兽世界怀旧服dk输出循环介绍?魔兽世界怀旧服dk怎么出新手村?

资讯

死亡骑士(简称:DK),出生于阿彻鲁斯:黑锋要塞内,在巫妖王之怒前夕版本上线后,无论你是老玩家还是萌新,都可以在账号下创建第一个DK角色

全球快看点丨小红书的本质:一个完美的算法男友

资讯

小红书的本质:一个完美的算法男友,只能被模仿,不能被超越

从日咖夜酒到咖啡炸鸡,哪个才是咖啡发展的终极形态?

资讯

从日咖夜酒到咖啡炸鸡,哪个才是咖啡发展的终极形态?,我们该怎么看咖啡产业的发展逻辑

环球微资讯!年轻人“抠”出来的200亿市场,没有未来?

资讯

年轻人“抠”出来的200亿市场,没有未来?,年轻人的又一“隐秘富矿”,但“边角料零食”做不了主角。

头条:杀疯了,AIGC,太牛逼了吧!

近期ChatGPT的火爆出圈,再次引发了全球对人工智能技术发展的广泛关注。

天天时讯:科技部部长用梅西解释ChatGPT;欧盟或将批准微软收购动视暴雪|产业周报

据游资网统计,下周开测新游的大厂包括B站游戏、网易游戏等。

今日播报!被ChatGPT带飞的AIGC,能为垂直产业做些什么?

深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,都在助力AIGC的快速发展。

PC的时代与时代的PC(上)——7000字长文解读PC的发展历史与VR的发展阶段

当前VR处于第一阶段到第二阶段的过渡时期,Quest2历史地位近似AppleII,定义了一体机+手柄的形态。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个