OpenAI推出新业务模式：售卖Model instance

OpenAI的新业务模式，卖Model instance，起价26万4千美元一年。

这个Model instance的好处是它完全归属于你，你可以按照自己的要求，对它进行有针对的微调，使它具备你需要的专业能力。 可以理解为OpenAI提供通用基础脑，而客户可以把它改成专业脑。

(资料图片)

由于基础模型的功能已经足够强大，对它进行改造的成本很低，所以企业无需自己从头训练一个大型LLM，直接在OpenAI的基础上微调就能得到自己的模型。

OpenAI悄悄启动了一套全新开发者平台，允许客户使用专用容量运行OpenAI的新型机器学习模型，包括GPT-3.5。根据用户在Twitter上亮出的早期截屏画面，OpenAI即将发布的这款产品名为Foundry，号称“专为运行更大工作负载的顶级客户而设计”。

文件指出，“ Foundry能够支持大规模推理，用户可以完全控制模型配置与性能设定。 ”我们已经联系OpenAI以确认这条消息是否准确可靠。

如果截屏内容可信，那么在启动之后，Foundry将专门为单一客户提供“静态分配”的计算容量（可能由OpenAI的首选公有云平台Azure提供）。这样，用户就能使用OpenAI内部的模型构建和优化工具/仪表板，对特定实例开展监控。此外，Foundry还会提供一定程度的版本控制，由客户决定是否升级到更新的模型版本，并为OpenAI的新模型提供“更健壮”的微调。

Foundry还将提供服务水平承诺，例如正常运行时间和按期工程支持。 这些专用计算单元要按季度或年计算租金，运行单一模型实例需要租用特定数量的计算单元（详见下图）。

可以肯定的是，这类实例不会太便宜。 即使是GPT-3.5的轻量化版本，三个月期的运行费用也高达7万8千美元；一年期承诺合约的运行成本为26万4千美元。作为对照，英伟达最新一代超级计算机DGX Station的每单元运行价格为14万9千美元。

敏锐的Twitter和Reddit用户们已经发现，实例定价表中列出的文本生成模型之一具有32K的最大上下文窗口（所谓上下文窗口，是指模型在生成其他文本之前所能考虑的背景信息；上下文窗口越大，则代表模型能够「记住」之前的更多文本内容）。 OpenAI的最新文本生成模型GPT-3.5具有4K最大上下文窗口，这暗示着此处的新模型很可能是大家期待已久的GPT-4——或者说3.5到4.0之间的某个过渡版本。

从微软获得数十亿美元的投资之后，OpenAI目前正背负着巨大的盈利压力。根据报道，该公司预计将在2023年赚到2亿美元。但截至目前，这家初创企业的研发投入已经砸下10亿美元。

这笔开销大部分来自计算成本。 对于前沿AI模型的训练而言，瞬间就会烧掉几百万美元，后续的推理运行也不会便宜太多。根据OpenAI联合创始人兼CEO Sam Altman的介绍，OpenAI如今爆火的聊天机器人ChatGPT在处理每次会话时成本为几美分。考虑到早在去年12月，ChatGPT的用户就已经超过百万，这部分运营成本也绝对不容小觑。

在AI货币化的过程中，OpenAI最近还推出了ChatGPT的“Pro”版——ChatGPT Plus，每月起步价20美元。他们还与微软合作开发了Bing Chat，在争议声中迅速获得主流关注。根据相关消息，OpenAI未来还计划推出移动版ChatGPT应用，并将其AI语言技术引入Word、PowerPoint和Outlook等微软产品。

另外，OpenAI将继续通过微软Azure OpenAI服务（一套以企业为中心的模型服务平台）进行技术交付，并维护 与GitHub合作开发的付费代码生成服务Copilot 。

关键词： 计算单元 运行成本