AI靠语意理解把照片变抽象画,无需相应数据集,只画4笔也保留神韵,有毕加索内味儿了

2022-03-21 15:55:15   来源:商业新知网

只用几笔,如何勾勒一只动物的简笔画,很多人从小都没整明白的问题——

如今AI也能实现了。

下面图中,左边是三张不同的动物照片,右边是AI仅用线条来描出它们的外形和神态。

从32笔到4笔,即使大量信息都抽象略去了,但我们还是能辨识出对应动物,尤其是最下面的猫猫,只需4笔曲线也能展示出猫的神韵:

再看这匹马,抽象到最后只保留了马头、马鬃和扬蹄飞奔的动作,真有点毕加索那幅公牛那味儿了。

更神奇的是,其背后的模型CLIPasso并没有在速写画数据集上训练——

等于说,没“学”过怎么画抽象画,按照文字描述就能完成简笔速写。

要知道,日常速写都比较抽象,即使是人来画,要想抓住物体的“灵魂”,也需要经过很久的训练。

那为什么这个CLIPasso甚至连速写画数据集训练都没做,就能get到抽象简笔画的“灵魂”呢?

CLIPasso如何画抽象画

其实AI画抽象简笔画比人更难。

既要准确地理解语义,又要在几何上相似,才能让抽象画看起来有“像”的感觉。

具体实现上,模型会根据图像的特征图先生成初始线条的位置,然后靠CLIP构建两个损失函数,来控制抽象画几何相似、语义理解准确。

其中CLIP就是OpenAI发布的一个重排序的模型,它会通过打分排名来筛选出和文字匹配度最高的图片。

这样一来,CLIPasso的整体结构就比较清晰了:

例如我们要画一匹马,首先通过特征图 (saliency) 标记一些初始线条 (S

1

,S

2

…S

n

) 的位置。

然后通过光栅化 (Rasterizer) 把线条投影到成像平面:

接下来就是优化线条参数了。把初始图像导入CLIP模型,计算几何损失 (L

g

) 和语义损失 (L

s

) 。

其中语义损失通过余弦相似度来判断两图的差异,而几何损失通过中间层来控制。

这样就能保证在准确理解语义的情况下保持几何准确,再通过反向传播不断调整线条参数,直到损失收敛。

那速写的抽象程度是怎么控制的呢?

就是靠设置线条的数量。

同样画一匹马,用32笔去画和只用4笔去画,抽象效果肯定是不一样的:

最后,我们来看一下CLIPasso画出的画辨识度怎么样。

下图中这个柱形图代表的是五类动物的辨识准确度。

不过在猜测的时候还有第六个选项:这五种动物都不是。

从图中可以看出,无论什么动物,在高度抽象的时候 (4笔画) ,辨识度都很低,随着笔画越来越多,辨识度也会逐渐提高。

毕竟这么抽象的画,看不出来是啥也很正常。

但是,模型团队在第二轮测试辨识度时删除了第六个选项,也就是必须从这五个动物类型中选一个归类。

这时,我们从下面的柱形图中可以看到,即使是高度抽象的4笔画,辨识度也提高了不少,从36%提到了76%。

这就说明了之前辨认不出是太抽象导致的,AI毕加索的画仍然抓住了动物的核心特征。

目前这个模型已经出了colab版本,只需在左侧文件夹中添加你想要抽象化的图片,然后运行三个部分即可得到输出照片。

作者简介

CLIPasso团队成员主要来自洛桑联邦理工学院、特拉维夫大学等。

其中Jessica是苏黎世联邦理工学院机器人方向的硕士研究生,目前在洛桑联邦理工学院的计算机视觉实验室VILAB实习。

而Yale Vinker是特拉维夫大学计算机科学的博士研究生,对艺术和技术的交叉领域非常感兴趣,也难怪CLIPasso有这么丰富的艺术细胞。

关键词: 特拉维夫 洛桑联邦理工学院

上一篇:
下一篇:
精彩阅读

AI靠语意理解把照片变抽象画,无需相应数据集,只画4笔也保留神韵,有毕加索内味儿了

热点

只用几笔,如何勾勒一只动物的简笔画,很多人从小都没整明白的问题——如今AI也能实现了。

抢先苹果!罗永浩“真还传”下月完结:即将进军VR行业

热点

罗永浩将于下个月彻底还完债务,届时将重返科技界,进军面向消费者的VR行业。

瑞数信息荣膺CCIA2021年度优秀会员单位

热点

瑞数信息凭借在联盟工作中的优秀表现和对网络安全产业发展的积极助力,荣膺CCIA2021年度优秀会员。

全行业攻坚智能网联汽车安全

热点

在这一汽车产业战略机遇期,如何快速破解数据安全难题成为全行业关注的焦点。

NFT与元宇宙热度回撤,阵痛之后何去何从?

热点

2月份OpenSea基于以太坊上的交易量为35 77亿美元。

特斯拉推送四大新功能:空调功能更新、新增语言支持

热点

近日,特斯拉推送了2022 8 2版本OTA升级,带来了四大新功能,包括空调功能更新、更加精准的预计充电时间、正在进行的通话更新、以及新增语

日本公司推出便携避难屋,能防爆抗震滤辐射,可供7人逃难!有人还把这放在客厅?

热点

“安全总比后悔好”。一家日本避难所制造商在一次采访中如此说道。

一键关闭!再见,App广告

热点

如何约束,如何把握这个度,是监管部门和互联网企业都要继续考虑的问题。

活久见!视奕科技竟然自导自演虚假上市闹剧

热点

也许你对产品造假并不陌生,但你听过公司上市造假吗?

财富

郭明錤:iPhone14系列“新瓶旧酒”是一种营销策略

资讯

郭明錤认为,iPhone 14系列新瓶旧酒的做法,其实是一种营销策略和财务导向的决策。3月20日消息,天风国际分析师郭明錤在社交媒体表示,iPh

猝不及防!比亚迪、小鹏等车企宣布涨价

资讯

这波新能源汽车涨价潮让人猝不及防。比亚迪、小鹏等车企宣布涨价之后,昨晚也在官网宣布,将对在售车型价格进行调整,综合补贴后售价上调幅

特斯拉推送四大新功能:空调功能更新、新增语言支持

资讯

近日,特斯拉推送了2022 8 2版本OTA升级,带来了四大新功能,包括空调功能更新、更加精准的预计充电时间、正在进行的通话更新、以及新增语

企业:做电商专供家电是为了渠道差异化

资讯

在嗅觉敏锐的华强北商人眼中,食品正在成为这里的新标签。3月2日,时代财经来到深圳华强北实地探访发现,华强北的几大主要商场如今都已有了

做不做高端,厨电企业摁下“高端键”背后有何深意?

资讯

中国人对厨房和烹饪的关注历史是源远流长的,一张餐桌的背后演绎着国民经济的发展脉络,也展示着居民生活水平的不断提高,而对于厨电企业而

清洁电器行业又迎来新品类,如何布局?

资讯

继洗地机之后,清洁电器行业又迎来了一个新品类。近期,中国家电网记者注意到了某品牌推出了一款名为多功能蒸汽清洁器的产品,据了解该产品

废旧家电回收体系亟待完善

资讯

我国家电行业已从增量市场转为存量市场,家电保有量已超过21亿台。如今我国家电需求以换新为主,每销售一台家电新品就要处理一台废旧电器,

安吉尔净水机滤芯货不对板,厂家同意三倍赔偿

资讯

此前齐鲁晚报·齐鲁壹点报道《巩俐代言安吉尔净水机,用户三年后发现RO膜非原厂》之后,记者报道安吉尔方面松口与用户协商。13日,记者了解

商家承诺“免费安装家电”成噱头 家电安装二次消费遭投诉

资讯

每年3月开始,家装进入旺季,也带动家电销售进入小高峰。花几千元买台空调,在安装中被告知要收取几百元的安装费;新买的热水器要另外付费购

50亿元!闻泰科技向境外特定客户正式出货

资讯

今日,国内知名果链公司闻泰科技发布一份《关于产品集成业务向境外特定客户正式出货的公告》。公告中提到,公司的产品集成业务与境外特定客

抢先苹果!罗永浩“真还传”下月完结:即将进军VR行业

罗永浩将于下个月彻底还完债务,届时将重返科技界,进军面向消费者的VR行业。

瑞数信息荣膺CCIA2021年度优秀会员单位

瑞数信息凭借在联盟工作中的优秀表现和对网络安全产业发展的积极助力,荣膺CCIA2021年度优秀会员。

全行业攻坚智能网联汽车安全

在这一汽车产业战略机遇期,如何快速破解数据安全难题成为全行业关注的焦点。

NFT与元宇宙热度回撤,阵痛之后何去何从?

2月份OpenSea基于以太坊上的交易量为35 77亿美元。

为户外劳动者提供便利 重庆已建成665座“劳动者港湾”

  中新网重庆4月22日电 (韩璐 王雪宇)记者22日从重庆市城市管理局获悉,2020年重庆市已建成“劳动者港湾”665座。今年,重庆还将继续建

沈阳警方侦破特大贩卖毒品案 抓获88名涉毒违法犯罪嫌疑人

  中新社沈阳4月22日电 (王景巍)沈阳市公安局22日发布消息,近日,在中国公安部和辽宁省公安厅的指导协调下,历经9个多月,沈阳市公安局

上海警方侦破特大制售假普洱茶案 市场价值高达18亿元

  中新网上海4月22日电 (记者 李姝徵)记者22日从上海警方获悉,2021年3月,上海警方全链条侦破一起销售假冒知名品牌普洱茶案,捣毁制售

西安强化知识产权司法保护 商标权案件占比高

  中新网西安4月22日电 (记者 张一辰)在世界知识产权日即将到来之际,西安市中级人民法院(以下简称:西安中院)22日召开新闻发布会,发

今年5月至明年2月底 江西4A级及以上景区对全国学子免门票

  中新网南昌4月22日电 (记者 李韵涵)记者22日从“红五月·嘉游赣”江西五一假日旅游工作媒体吹风会上获悉,2021年5月1日至2022年2月28

福州乡村公益图书馆:图书“接地气” 门口即是农田

  中新网福州4月22日电 (叶秋云 曾路淇)世界读书日即将来临之际,驾车五十余分钟,记者来到距离福建省福州市30多公里的闽侯县白沙镇马