当前快看:一块GPU,每秒20个模型!英伟达新玩具用GET3D造元宇宙

2022-09-29 09:55:40   来源:商业新知网

磐创AI分享

转自| 磐创AI

编辑 | 拉燕 桃子

【导读】 近日,英伟达发布了最新的GET3D模型,能快速生成虚拟世界的对象,而且只需要一块GPU每秒就能产出大约20个模型。

Abracadabra!


(资料图)

在2D生成3D模型上,英伟达亮出了自称「世界级」研究:GET3D。

通过2D图像训练后,该模型可生成具有高保真纹理和复杂几何细节的3D形状。

究竟有多厉害?

形状、纹理、材质自定义

GET3D之所以得名,是因为它能够生成显式纹理3D网格(Generate Explicit Textured 3D meshes )。

论文地址:https://arxiv.org/pdf/2209.11163.pdf

也就是说,它创建的形状是三角形网格的形式,就像纸模型一样,上面覆盖着纹理材质。

关键是,这个模型可以生成多种多样,且高质量的模型。

比如,椅子腿上的各种轮子;汽车的车轮,灯和车窗;动物的耳朵、角;摩托车的后视镜,车轮胎上的纹理;高跟鞋,人类衣服...

街道两旁的独特建筑,不同的车辆呼啸而过,还有不同的人群穿梭而过...

若想通过手动建模做出同样的3D虚拟世界非常耗时。

尽管先前的3D生成AI模型虽然比手动建模更快,但它们在生成更多丰富细节模型的能力还是欠缺。

即便是,最新的逆向渲染方法也只能基于从各个角度拍摄的2D图像生成3D对象,开发人员一次只能构建一个3D物体。

GET3D可就不一样了。

开发者可以轻松地将生成模型导入到游戏引擎、3D建模器和电影渲染器中,对它们进行编辑。

当创建者将GET3D生成的模型导出到图形应用程序,他们就可以在模型所在的场景中移动或旋转时应用逼真的照明效果。

如图所示:

另外,GET3D还可以做到文本引导形状生成。

通过使用英伟达的另一个AI工具StyleGAN-NADA,开发人员可以使用文本提示为图像添加特定的风格。

比如,可以将渲染后的汽车变成一辆烧毁的汽车或出租车

将一个普通的房子改造成砖房、着火的房子,甚至是鬼屋。

或者将老虎纹、熊猫纹、还有《辛普森一家》的特色应用在任何动物身上...

简直就是辛普森一家的「动物森友会」...

英伟达介绍,在单个英伟达GPU上训练,GET3D每秒可以生成大约20个对象。

在此,它所学习的训练数据集越大、越多样化,输出的多样性和详细程度就越高。

英伟达称,研究团队仅用2天时间,就使用A100 GPU在大约100万张图像上训练了模型。

研究方法与过程

GET3D框架,主要作用是合成有纹理的三维形状。

生成过程分为两个部分:第一部分是几何分支,可以输出任意拓扑结构的表面网格。另一部分则是纹理分支,它会产生一个纹理场,由此可以在表面点上进行查询。

在训练过程中,一个可微分光栅化器被用来高效渲染所产生的纹理网格,并渲染成二维的高分辨率图像。整个过程是可分的,允许通过传播二维判别器的梯度,从图像中进行对抗性训练。

之后,梯度从二维判别器传播到两个发生器分支。

研究人员又进行了广泛的实验来评估该模型。他们首先将GET3D生成的三维纹理网格的质量与现有的使用ShapeNet和Turbosquid数据集生成的做比较。

接下来,研究人员根据对比结果在之后的研究中对模型进行了优化,并做了更多实验。

GET3D模型在几何形状和纹理能够实现相分离。

如图,在每一行中展示了由相同的几何隐藏代码生成的形状,同时更改了纹理代码。

在每一列中展示了由相同的纹理隐藏代码生成的形状,同时更改了几何代码。

另外,研究人员在每一行中相同的纹理隐藏代码生成的形状,从左到右插入几何隐藏代码。

并由相同的几何隐藏代码生成的形状,同时从上到下插入纹理代码。结果显示,每个插值对生成模型都是有意义的。

在每个模型的子图中,GET3D能够在所有类别的不同形状之间的生成实现平滑过渡。

在每一行中,通过添加一个小噪声来局部扰乱隐藏代码。通过这种方式,GET3D能够在局部生成外观相似但略有差异的形状。

研究人员指出,未来版本的GET3D可以使用摄像机姿态估计技术,让开发人员训练模型的现实世界的数据,而不是合成数据集。

未来,通过改进,开发人员可以在各种3D形状上一次性训练GET3D,而不需要一次在一个对象类别上训练它。

英伟达人工智能研究副总裁Sanja Fidler表示,

GET3D让我们离人工智能驱动的3D内容创作大众化又近了一步。它即时生成带纹理3D形状的能力可能会改变开发人员的游戏规则,帮助他们用各种有趣的对象快速填充虚拟世界。

作者介绍

论文一作Jun Gao是多伦多大学机器学习小组的博士生,导师是Sanja Fidler。

除了学历优异以外,他还是英伟达多伦多人工智能实验室的研究科学家。

他的研究主要集中在深度学习(DL),目标直指结构化几何表示学习。同时,他的研究还从人类对2D和3D图像、视频的感知中获得见解。

这么一位优秀的高材生,来自北京大学。他于2018年本科毕业,获得学士学位。在北大期间,他和王立威教授一同工作。

毕业后他还在斯坦福大学、MSRA和英伟达进行过实习。

http://www.cs.toronto.edu/~jungao/

Jun Gao的导师同样是业内翘楚。

Fidler是多伦多大学的副教授,Vector研究所的一名教师,同时,她还是该研究所的联合创始成员之一。

教学之外,她还是英伟达公司的人工智能研究副总裁,领导着多伦多的一个研究实验室。

在来到多伦多之前,她是芝加哥丰田技术研究所的研究助理教授。该研究所位于芝加哥大学校园内,算是个学术机构。

Fidler的研究领域集中在计算机视觉(CV)和机器学习(ML),聚焦于CV和图形学的交叉领域、三维视觉,以及三维重建与合成,还有图像注释的互动方法等等。

关键词: 开发人员 研究人员

上一篇:
下一篇:
精彩阅读

当前快看:一块GPU,每秒20个模型!英伟达新玩具用GET3D造元宇宙

热点

近日,英伟达发布了最新的GET3D模型,能快速生成虚拟世界的对象,而且只需要一块GPU每秒就能产出大约20个模型。

每日热讯!Web3 过冬,有哪些能超越周期的落地产品?

热点

伴随着美联储加息和宏观环境的悲观情绪传导,加密二级市场近来明显冷清了不少,Web3叙事也没有出现能明显引燃情绪的爆点。

每日时讯!刘春雄:互联网下半场,非b莫属

热点

这是S2b2C的要点。其中要点中的要点,就是b在S2b2C中无可替代的价值,小b的唯一性。

焦点报道:数字原生重构云的“进化论”

热点

从传统IT基础设施的云化,到公有云、私有云、混合云的变迁,以云为主角的数字经济底座正在加速进化。

【世界播资讯】联通云:不止步于云端

热点

187亿。这是联通云在8月8日中国联通2022年中期业绩中公布的一个关键数据。

今日热搜:5G标准最新演进综述

热点

从R18开始,将被视为5G的演进,命名为5GAdvanced,预计仍然将会有3个版本。

环球热点!以简驭繁 | 医疗SaaS企业解决门店收款的秘诀

热点

简米支付系统为L公司提供多门店解决方案,支持SaaS平台收款再向诊所门店结算,也是支持门店分别独立收款。

【环球聚看点】央视播出 | 十年通信巨变,筑牢数字经济底座!

热点

过去十年间,我国不仅建成了全球规模最大的信息通信网络,还持续推动“提速降费”。

焦点速看:5G种地,也是满满黑科技!

热点

远程种菜、智能畜牧养殖、灾害预警……数智化应用在广大农村地区日益普及,越来越多的村民享受到数智快车的便利。

财富

【天天播资讯】贾跃亭的“金主们”

资讯

贾跃亭的“金主们”,贾跃亭又双叒叕救回了濒死的FF。

环球热议:董宇辉之外,更多英语教培老师们如今在干啥?

资讯

董宇辉之外,更多英语教培老师们如今在干啥?,面对行业大调整,每个人都做出了新的选择,有的工作关联,有的大胆转型。

【全球报资讯】蜜雪冰城与杨国福们的「加盟生意」:是蜜糖,也是砒霜

资讯

蜜雪冰城与杨国福们的「加盟生意」:是蜜糖,也是砒霜,随着招股书公布,蜜雪冰城“闷声发财”的秘诀也呈现在了市场面前。

全球观速讯丨咖啡与茶饮的椰子故事,还能讲多久?

资讯

咖啡与茶饮的椰子故事,还能讲多久?,椰子味风靡

天天通讯!毕业生抢着去银行当“码农”

资讯

毕业生抢着去银行当“码农”,银行秋季招聘再次启动,金融科技类人才仍然抢手。

当前消息!800元击穿DR钻戒的真爱防线

资讯

800元击穿DR钻戒的真爱防线,一场关于真爱的购买示范

世界热议:何小鹏、李想的“心病”

资讯

何小鹏、李想的“心病”,小鹏、理想进入“阵痛期”。

环球即时:VR产业需要一台“iPhone 4”

资讯

VR产业需要一台“iPhone4”,PICO4能成为VR行业的iPhone4吗?

每日头条!融资丨「开云集致」完成千万元Pre-A轮融资,盈动资本领投

资讯

融资丨「开云集致」完成千万元Pre-A轮融资,盈动资本领投,目前,公司产品已支持包括主流关系型数据库、实时数仓、消息中间件、搜索引擎、大数

当前关注:融资丨「亚荣新材」完成数亿元Pre-IPO轮融资,洪泰基金领投

资讯

融资丨「亚荣新材」完成数亿元Pre-IPO轮融资,洪泰基金领投,本轮融资将用于19万吨高端磷系阻燃剂、10万吨五氯化磷等项目的研发、建设和生产。

每日热讯!Web3 过冬,有哪些能超越周期的落地产品?

伴随着美联储加息和宏观环境的悲观情绪传导,加密二级市场近来明显冷清了不少,Web3叙事也没有出现能明显引燃情绪的爆点。

每日时讯!刘春雄:互联网下半场,非b莫属

这是S2b2C的要点。其中要点中的要点,就是b在S2b2C中无可替代的价值,小b的唯一性。

焦点报道:数字原生重构云的“进化论”

从传统IT基础设施的云化,到公有云、私有云、混合云的变迁,以云为主角的数字经济底座正在加速进化。

【世界播资讯】联通云:不止步于云端

187亿。这是联通云在8月8日中国联通2022年中期业绩中公布的一个关键数据。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个