2022-12-29 12:21:42 来源:商业新知网
大数据文摘转载自夕小瑶的卖萌屋
【资料图】
近年来,AI技术发展迅速,随着以Pytorch、TensorFlow为代表的深度学习框架的成熟,AI模型的训练流程已经变得相对清晰、成熟。然而,预训练模型和后续一系列超大模型的出现,使得对于大部分AI开发者和企业来说,手动训练、定制模型的必要性正在不断减少。随着大众对AI模型的预期回归理性,企业在AI赛道的竞争已经逐渐从“学术竞争”转向“应用竞争”了。
今年这个现象尤为明显,diffusion models为代表的“文生图”模型的成熟在国内外掀起了一股AI绘画的热潮,AIGC的概念大火。在今年接近尾声的时候,ChatGPT则掀起了人机对话、乃至搜索引擎形态颠覆的热烈讨论,AI已经不再是一个学术层面的概念竞赛了,而是开始成为实实在在的应用和工具,参与到了社会生产力的提升上来。
甚至,AI作画的能力已经足以斩获一些大赛奖项了——
▲AI作画:空间歌剧院
如图所示,《空间歌剧院》是Jason Allen使用AI绘图软件MidJourney在近千次的尝试后生成的,并且斩获了美国科罗拉多州博览会的一等奖。
然而,AI技术在应用开发层面的效率却面临了不少的挑战。
在企业的AI应用中,不可避免的要考虑如何将模型部署到生产环境,如何确保模型部署后的可用性和可靠性,以及如何监控和维护模型的性能等。这些挑战需要企业拥有一套完整的AI应用开发流程,并配备相应的工具和资源。
具备这么一套完备的工具链的企业往往是极少数的巨头,且由于工具链不够成熟,经常遭受员工吐槽。
这些问题,往往出现在模型训练完成后,将模型部署到生产环境的过程。模型部署的工具链相对较长,而且上下游工具的兼容性问题层出不穷,企业大量使用开源工具又容易引发安全问题等。这些零散的问题极大的制约了目前企业开发AI应用的生产力。
举个具体的例子。
我们将模型从训练 checkpoint 转换成可供部署的前向推理 ONNX 模型时,常常会用到 TensorRT 这个推理加速框架。然而,由于AI任务种类繁多,我们经常难以避免的对模型结构有所改动,用到一些不太常见的算子(op)后,就容易出现 TensorRT 算子不支持的问题,为此,我们又需要去写 plugin,做一系列改动和适配,非常拖累部署上线的进度。
就算没有遇到算子适配的问题,由于推理阶段往往对计算的实时性和并发度要求较高,企业为了节省部署资源,常常会降低模型精度——FP16量化甚至INT8量化等,然而在降低计算精度的过程中,又常常发现模型效果损失较多,可能又要回过头去加上一些技巧重训模型。
此外,由于AI模型常常需要处理敏感数据,因此在AI应用开发过程中也需要考虑数据隐私和安全问题。企业需要建立合理的数据保护机制,确保模型在训练和使用过程中不会泄露敏感信息。
总的来说,企业在AI应用开发中面临的挑战并不少,当下越来越迫切的需要一套工具链,来帮助企业更加高效、安全地构建和部署AI应用。这套工具链包括模型部署工具、模型管理平台、模型监控工具、数据隐私保护工具等等。这些工具可以帮助企业更好地管理和控制AI应用开发过程,确保AI应用的可用性和可靠性。
幸运的是,她来了。
NVIDIA AI Enterprise 3.0
前几天,NVIDIA重磅发布了AI Enterprise 3.0(简称NVAIE 3.0),一个堪称操作系统级的AI开发平台。
可以看到,这不是一个像TensorFlow、Pytorch那样的传统深度学习框架,而是一个致力于快速打造AI应用的一站式开发平台,包括了模型的训练、推理优化、部署、模型管理、云原生管理等AI应用开发上线的全流程,以往需要耗时数个月才能开发完成的AI应用,在NVAIE 3.0平台下,甚至可以做到数小时完成。
从图里我们可以看到平台在 4 个层级的关键特性:
囊括了上层工作流、框架和预训练模型:在应用场景的level上,定义清晰的输入输出,并预置预训练模型,快速完成典型应用场景的AI应用开发
同时支持模型开发和部署:应用开发的工具闭环,完成机器学习模型从开发到部署的完整生命周期,包括低代码迁移学习工具TAO、主流深度学习框架TF/Pytorch、推理加速TensorRT框架、推理服务引擎等
云原生的架构,支持混合云部署:GPU、DPU在k8s内的集成,MLOps工具等
大量的基础设施优化:包括GPU虚拟化、基于RDMA的存储访问加速、底层CUDA优化等
下面就展开前两层,看看NVAIE是如何解决AI应用开发中的痛点的。
比如,我们前面提到过,当我们训练得到了一个不错的模型checkpoint后,需要通过TensorRT转换为可供部署的ONNX模型,这时常常遭遇算子缺失的问题。而在NVAIE 3.0平台下,你训练得到的模型则会在平台第二层中的TAO组件的能力加持下,轻松完成到ONNX模型的转换,无需再担心算子缺失、定制化开发的问题。
再比如,我们前面提过的模型量化的痛点,同样在NVAIE的第二层得到了解决——通过第二层的TAO组件可以直接得到的已经量化完成的INT8模型,无需再操心量化流程繁琐和量化精度损失的问题了。
而像一些典型的AI应用场景——比如智能客服,则在平台的最上层预置了应用开发的工作流(workflow):
以上图中的智能虚拟助手的workflow为例,我们来看一个典型的workflow是怎么工作的。
▲RIVA工作流
最右下角是一个基于RIVA的工作流,在这里面会完成语音转文字(ASR)、文字转语音(TTS)的操作,来作为智能虚拟助手的“输入预处理”和“输出预处理”操作。而后,经过RIVA得到的用户输入,会被输入到左边的RASA工作流。
▲RASA工作流
RASA是一个开源的对话机器人框架,在这里,转成文本的用户语音输入会经过基础的NLU模块,进行分词、意图理解、槽位填充等操作,来得到一个结构化的语义理解结果,该结果会被输入到内部的对话管理(DM)模块来进行对话状态的追踪和管理。得到了语义理解的结果,便会将该结果丢给图中最上面的HEYSTACK工作流,来通过答案检索的方式,得到一个适合回答用户的候选回复,该回复最终会传入回RIVA工作流,通过TTS模块生成语音回复。
▲HEYSTACK工作流
如此,一个复杂的智能虚拟助手的运转全流程便完成了。如果从头要搭建这么一套复杂系统,常常要耗费数个月的时间,而基于NVAIE平台已经定义好的工作流,甚至可以实现小时级的全流程打通,可以说极大的解放了AI应用开发的生产力。
除此之外,平台还内置了语音转录工作流、数字安全防护认证工作流等,并且平台正在持续不断为更多的应用场景设计workflows,未来可能会有基于地图的workflow、基于OCR的workflow等,非常值得期待!
值得注意的是,平台为了加快AI应用开发效率,并提升最终的AI应用效果,还内置了大量的预训练模型(比如效果先进的行人检测模型PeopleNet),且这些预训练模型都是未加密、完全开放权重的,用户完全可以拿来进行AI模型的“热启动”,并且标注场景化的数据进行模型权重的微调。
而这些预训练模型,覆盖的应用场景也是非常广泛。仅仅是车的识别方面,就内置了诸如车辆识别、车牌识别、车型识别等多种模型。有了预训练模型的加持,AI应用的开发进度便可以得到极大的提速,感兴趣的小伙伴可以在NVIDIA的 NGC目录中查询可用的预训练模型:
NGC目录传送门如下:
https://catalog.ngc.nvidia.com/
除了以上模型层面的优化外,NVAIE 3.0还对AI服务的并发、可靠性、GPU利用率等进行了大量的优化,而这些问题对企业开发人员来说是非常耗时、头疼的事情。可以说,NVAIE平台实现了操作系统级别的开发套件封装,使得企业用户能够得到AI应用开发完整生命周期的效率、效果和安全性保障。
更不必说,作为全球领先的GPU制造商,NVIDIA在GPU层面是具备硬核的“Know How”能力的,这一点使得NVAIE平台可以实现真正的闭环优化,这对于应用的高效率开发是十分重要的保障。
在云原生方面,NVAIE 3.0对混合云部署的支持,则能够满足企业不同的部署需求。这里面还提供了优秀的服务支持,包括三年的Long term support,让企业在使用NVAIE 3.0的过程中感受到更多的便捷和安全。
总的来说,NVIDIA的NVAIE 3.0是一款非常优秀的AI开发平台,它的出现为企业的AI应用开发带来了一次“效率革命”。我们期待着NVAIE 3.0能够在未来的发展中帮助更多的企业实现AI的梦想。
关键词: 操作系统
以抖音热点大盘数据为始,让用户了解抖音热点发展现状,并回顾垂类行业热点和社会价值类热点数据,让用户了解抖音热点的价值。
1、首先打开插件 选择 Damage那个2、然后向下 找到 Health bar mode,点击进入3、看到那个 Health bar color 选项,不要找错了4
1、打开Project2010,可以新建项目,也可以选择一个准备好的项目。2、创建一个新项目计划后,需要为项目创建任务。点击工作区-任务名称-单
今天,让我们回顾2022年那些人工智能领域的突破性成果。
以抖音热点大盘数据为始,让用户了解抖音热点发展现状,并回顾垂类行业热点和社会价值类热点数据,让用户了解抖音热点的价值。
中国台湾地区关键设备耗材厂无预警暂停供货大陆企业。
天王盖地虎,小鸡炖蘑菇,一句多少人熟悉的“接头暗语”,即将成为回忆。
近日,上海市经济和信息化委员会发布了2022年上海新一代信息基础设施发展十件大事。