快播:ControlNet star量破万!2023年,AI绘画杀疯了?

2023-03-03 11:20:31   来源:商业新知网

来源 | 机器之心


(相关资料图)

编辑| 张倩

【导读】 进入 2023 年,一个名为 ControlNet 的模型将 AI 绘画水平推向了新的高峰。

从骑马的宇航员到三次元小姐姐,在不到一年的时间里,AI 绘画似乎已经取得了革命性的进展。

这个「骑马的宇航员」由 OpenAI 2022 年 4 月推出的文生图模型 DALL・E 2 绘制。它的前辈 ——DALL・E 在 2021 年向人们展示了直接用文本生成图像的能力,打破了自然语言与视觉的次元壁。在此基础上,DALL・2 更进一步,允许人们对原始图像进行编辑,比如在画面中添加一只柯基。这一个看似简单的操作其实体现了 AI 绘画模型可控性的提升。

不过,就影响力而言,2022 年最火的文生图模型并不是 DALL・E 2,而是另一个和它功能相似的模型 ——Stable Diffusion。和 DALL・E 2 一样,Stable Diffusion 也允许创作者对生成的图像进行编辑,但优势在于,这个模型是开源的,而且可以在消费级 GPU 上运行。因此,在 2022 年 8 月发布之后,Stable Diffusion 迅速走红,短短几个月就成了最火的文生图模型。

在此期间,人们也在进一步探索各种控制这类模型的方法,比如 Stable Diffusion 背后团队之一的 Runway 公司发布了一个 图像擦除和替换(Erase and Replace)工具 ,该工具可以修改图像任何部分。用户需要做的就是擦除该区域并编写自然语言描述,剩下的交给程序就可以了。

谷歌和波士顿大学的研究者则提出了一种「个性化」的文本到图像扩散模型 DreamBooth ,用户只需提供 3~5 个样本 + 一句话,AI 就能定制照片级图像。

此外,来自 UC 伯克利的研究团队还提出了一种根据人类指令编辑图像的新方法 InstructPix2Pix ,这个模型结合了 GPT-3 和 Stable Diffusion。给定输入图像和告诉模型要做什么的文本描述,模型就能遵循描述指令来编辑图像。例如,要把画中的向日葵换成玫瑰,你只需要直接对模型说「把向日葵换成玫瑰」。

进入 2023 年,一个名为 ControlNet 的模型将这类控制的灵活度推向了高峰。

ControlNet 的核心思想是在文本描述之外添加一些额外条件来控制扩散模型(如 Stable Diffusion),从而更好地控制生成图像的人物姿态、深度、画面结构等信息。

这里的额外条件以图像的形式来输入,模型可以基于这张输入图像进行 Canny 边缘检测、深度检测、语义分割、霍夫变换直线检测、整体嵌套边缘检测(HED)、人体姿态识别等,然后在生成的图像中保留这些信息。利用这一模型,我们可以直接把线稿或涂鸦转换成全彩图,生成具有同样深度结构的图等等,通过手部关键点还能优化人物手部的生成。

这一模型在 AI 绘画领域掀起了巨浪,相关项目 GitHub star 量已破万。

项目链接:https://github.com/lllyasviel/ControlNet

虽然当前很多人只是用它来生成二次元、三次元小姐姐,但其更广泛的用途也被逐渐挖掘出来,比如房屋设计、摄影摄像、影视制作、广告设计等。在这些场景中,ControlNet 被拿来和之前的一些工具一起使用,比如处理大模型微调问题的 LoRA、视频 - 动画转换工具 EbSynth 等。这些工具的组合应用加速了 AI 绘画模型与生产过程的融合。

‍ 利用 ControlNet 和 EbSynth 等工具重新进行室内装潢设计。图源:https://creativetechnologydigest.substack.com/p/controlling-artistic-chaos-with-controlnet (内附完整教程)

‍ 利用 ControlNet 和 Houdini 工具生成 3D 模型。图源:https://www.reddit.com/r/StableDiffusion/comments/115eax6/im_working_on_api_for_the_a1111_controlnet/

用 Dreambooth 和 ControlNet 改变 2D 图像光照,可用于照片、视频的后期制作。图源:https://www.reddit.com/r/StableDiffusion/comments/1175id9/when_i_say_mindblowing_i_mean_it_new_experiments/

用 ControlNet 和 EbSynth 实现动画转真人。虽然效果还不太好,但已经显示出了把动漫改编成真人版但无需演员出镜的潜力。图源 https://www.reddit.com/r/StableDiffusion/comments/117ewr9/anime_to_live_action_with_controlnet_ebsynth_not/

某设计师利用 ControlNet 生成的著名品牌「新 logo」。图源:https://twitter.com/fofrAI/status/1628882166900744194

惊喜之余,这些技术的进展也让绘画等领域的从业者陷入焦虑和愤怒。焦虑的是,AI 可能会夺走自己的饭碗。愤怒的是,AI 生成的图像很多是对当前画师的抄袭和模仿,画师的知识产权受到了侵犯。

图源:https://www.zhihu.com/question/583294094

在这些问题尚未解决的情况下,AI 绘画在画师圈成了一个尖锐的问题。很多人认为大家应该一起抵制 AI 绘画,共同捍卫自己的权益。因此,当某知名画师疑似采用 AI 绘画为某游戏工作室供稿的消息传开后,其他画师们被彻底激怒。

同时被激怒的还有游戏玩家。由于目前 AI 绘画还存在一些局限,比如处理不好手部细节(仔细观察本文第一张图的小姐姐可以看出来),达不到玩家所要求的美术视觉效果精湛、人物富有个性和创意等要求,很多玩家产生了「被糊弄」的感觉。因此,上述游戏工作室只能紧急发布声明,称「不会在产品中使用 AI 作画」。

但这种情况会持续多久呢?当 AI 绘画的水平达到肉眼难以分辨的程度,你怎么知道你玩的游戏究竟出自画师还是 AI,亦或二者组成的「团队」?

图源:https://m.weibo.cn/2268335814/4870844515358190

或许再过几个月,AI 绘画工具就会像程序员使用的 Copilot 一样,成为绘画师日常工作必不可少的工具。当然,这也在无形中提高了这一行业的门槛,正如已经被 AI「入侵」的其他行业一样。如何在这样的浪潮中保持自己的竞争力可能是每个人都应该思考的问题。

关键词: 自然语言 边缘检测

上一篇:
下一篇:
精彩阅读

AI落地的范式创新,比一个ChatGPT更激动人心

热点

AI在能力上的储备已经到了从缓慢溢出,即将变为喷薄而出的阶段。

快播:ControlNet star量破万!2023年,AI绘画杀疯了?

热点

进入2023年,一个名为ControlNet的模型将AI绘画水平推向了新的高峰。

当前信息:腾讯发布承诺书,明确“重视女性员工价值”

热点

3月2日消息,腾讯于本日发布了《DEI承诺书》。

全球消息!软通智慧科技注册资本增加约5.9%至约2.51亿元

热点

3月3日,软通智慧科技有限公司注册资本发生变更。

IDC:2022年中国VR一体机首破100万台年出货量大关;Avalon融资1300万美元打造数字世界

热点

近日,知名电子设备维修机构iFixit的技术人员ShahramMokhtari对索尼PSVR2进行了拆解工作。

热点评!ChatGPT 开放 API接口,游戏行业要变天了?

热点

说实话,在游戏中接入AI的方式让游戏的乐趣大增,同时更是拥有无限的可能。

每日速看!AI时代的漫谈

热点

一堆人工神经元在数据、算力以及魔力算法的加持下,涌现了“全能”的ChatGPT。

焦点快播:高通发布全球首个可商用部署的iSIM卡

热点

高通发布全球首个可商用部署的iSIM卡。

【全球新要闻】Win11支持连接iPhone,可实现PC端接打电话

热点

微软宣布,为Win11平台上的PhoneLink应用程序添加对iPhone的支持。

天天短讯!苏州立法禁止大数据“杀熟”,注重保护数据安全

热点

苏州立法禁止大数据“杀熟”,注重保护数据安全。

财富

恒顺醋不好卖了?

资讯

恒顺醋不好卖了?,错过了最佳战略机遇

2023中国电商“百亿补贴大战”的暗喻

资讯

2023中国电商“百亿补贴大战”的暗喻,旧周期最后的战役。

首发丨恩泽康泰完成数千万元A++轮融资

资讯

首发丨恩泽康泰完成数千万元A++轮融资,本轮融资募集资金将主要用于工程化外泌体技术平台的迭代与解决方案拓展。

天天快报!铲屎官喊贵,医院哭穷,宠物医疗的钱被谁赚走了?

资讯

铲屎官喊贵,医院哭穷,宠物医疗的钱被谁赚走了?,进口替代道阻且长

估值缩水的SHEIN希望何在?

资讯

估值缩水的SHEIN希望何在?,谁是跨境电商的赢家?

贾国龙为什么闲不住?

资讯

贾国龙为什么闲不住?,有继续创业的决心,也有不得不折腾的原因。

蜜雪冰城、星巴克的供货商要上市了,有颗雷还没爆

资讯

蜜雪冰城、星巴克的供货商要上市了,有颗雷还没爆,市场,悄然生变。

比亚迪“杀疯了”

资讯

比亚迪“杀疯了”,特斯拉够“狠”,比亚迪更“狠”

环球速看:“突袭”推特,Instagram创始人联手再创业

资讯

“突袭”推特,Instagram创始人联手再创业,文本版TikTok,行得通吗?

热头条丨融资丨「核欣医药」完成超亿元人民币A轮融资

资讯

融资丨「核欣医药」完成超亿元人民币A轮融资,资金将用于快速推进公司多款肿瘤诊疗一体化产品的临床开发,及拓展公司的产品管线

快播:ControlNet star量破万!2023年,AI绘画杀疯了?

进入2023年,一个名为ControlNet的模型将AI绘画水平推向了新的高峰。

当前信息:腾讯发布承诺书,明确“重视女性员工价值”

3月2日消息,腾讯于本日发布了《DEI承诺书》。

全球消息!软通智慧科技注册资本增加约5.9%至约2.51亿元

3月3日,软通智慧科技有限公司注册资本发生变更。

IDC:2022年中国VR一体机首破100万台年出货量大关;Avalon融资1300万美元打造数字世界

近日,知名电子设备维修机构iFixit的技术人员ShahramMokhtari对索尼PSVR2进行了拆解工作。

热点评!ChatGPT 开放 API接口,游戏行业要变天了?

说实话,在游戏中接入AI的方式让游戏的乐趣大增,同时更是拥有无限的可能。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个