VMware Private AI Foundation with NVIDIA不但能够让用户可以快速获取生成式AI所需要的高性能，而且还能够依托于NVIDIA Nemo框架和深度学习虚拟机，快速开发和部署LLM，加速LLM输出交付。

2023年，以ChatGPT为代表的生成式AI迅速爆火，成为科技行业的热点。如何高效部署生成式AI应用，以此来加速业务创新，成为各大企业纷纷探索的重点。

(资料图片仅供参考)

为了帮助企业加速推进生成式AI的应用落地，在VMware Explore 2023上，VMware联合NVIDIA，共同打造VMware Private AI Foundation with NVIDIA生成式AI平台。VMware Private AI Foundation with NVIDIA 将使企业能够自定义模型并运行各种生成式 AI 应用，如智能聊天机器人、助手、搜索和摘要等。该平台将作为全集成式解决方案，采用 NVIDIA 提供的生成式 AI 软件和加速计算，基于 VMware Cloud Foundation 构建，并针对 AI 进行了优化。

据NVIDIA企业计算副总裁Justin Boitano介绍，VMware Private AI Foundation with NVIDIA不但能够让用户可以快速获取生成式AI所需要的高性能，而且还能够依托于NVIDIA Nemo框架和深度学习虚拟机，快速开发和部署LLM，加速LLM输出交付。

共同推动生成式AI应用落地

众所周知，生成式AI对于算力提出了更高的要求。为了解决算力挑战，NVIDIA 不但推出了L40S、H100等先进的 GPU，而且还发布了NVIDIA BlueField-3数据处理单元 (DPU)。与此同时，为了帮助企业打造现代化的数据中心，VMware发布了VMware Cloud Foundation，以此来帮助企业从本地数据中心延伸到混合云。

在NVIDIA企业计算副总裁Justin Boitano看来，创建和自定义企业的生成式AI模型和应用程序，不但对性能提出了更高的要求，而且还需要解决企业面临的数据保护安全、IP安全和隐私等风险。VMware云基础架构平台副总裁Paul Turner同样表示，面对外部环境的不确定性，快速发展的环境和不断变化的工具，企业创建生成式AI应用时，还需要综合考虑成本和复杂性等因素。

为此，NVIDIA和VMware基于企业面临的各种挑战，在VMware Explore 2023上共同打造了VMware Private AI Foundation with NVIDIA生成式AI平台，一方面基于NVIDIA L40S/NVIDIA H100和NVIDIA BlueField-3/ NVIDIA ConnectX-7底层硬件提供强大的算力保障；另一方面，利用 NVIDIA AI Enterprise 套件，VMware Cloud Foundation用户能够在 NVIDIA 认证系统上安全地运行现代、加速的工作负载以及现有企业应用程序，实现LLM的快速开发、部署和输出交付。

据介绍，由于VMware云基础架构支持NVIDIA L40S GPU和NVIDIA BlueField-3智能网卡等硬件产品，能够在VMware Cloud Foundation直接加速人工智能工作负载的计算能力。而在VMware Private AI Foundation with NVIDIA生成式AI平台上，用户仅需要创建项目、自定义模型、构建Al助手、部署Al助手这4个步骤，即可完成生成式AI应用的开发与应用。

Justin Boitano表示，VMware Private Al Foundation with NVIDIA平台不但能够为用户提供更优化的性能，而且基于双方广泛的生态和合作伙伴，能够为用户带来更高的选择灵活性，与此同时还能够降低数据安全的风险。除此之外，能够大幅提高企业的生产力，降低开发流程，缩短开发部署应用周期。

据了解，VMware Private Al Foundation with NVIDIA平台将采用的 NVIDIA NeMo 是 NVIDIA AI Enterprise（NVIDIA AI 平台的操作系统）中包含的端到端云原生框架，可助力企业在几乎任何地点构建、自定义和部署生成式 AI 模型。NeMo 集自定义框架、护栏工具包、数据整理工具和预训练模型于一身，使企业能够以一种简单、经济且快速的方式来采用生成式 AI。

除此之外，为将生成式 AI 部署到生产中，NeMo 使用 TensorRT for Large Language Models（TRT-LLM），以加速并优化 NVIDIA GPU 上最新 LLM 的推理性能。通过 NeMo，VMware Private AI Foundation with NVIDIA 将使企业能够导入自己的数据，并在 VMware 混合云基础架构上构建和运行自定义生成式 AI 模型。

十年合作加速虚拟化计算

NVIDIA与VMware自2013年开始合作以来，至今已有10年的历程。这10年来，双方在虚拟化、人工智能、现代化数据中心等领域进行了深入的合作，致力于帮助企业用户构建现代化的数据中心，加速企业的创新与数字化转型。

在AI领域，利用 NVIDIA AI Enterprise 套件和 NVIDIA 最先进的 GPU 和 数据处理单元 (DPU)，VMware 和 NVIDIA 正在将共同努力改造基于 VMware Cloud Foundation 的现代数据中心，并将 AI 引入每个企业，并从本地数据中心延伸到混合云，从虚拟机延伸到容器。

据介绍，VMware Private AI Foundation with NVIDIA生成式AI平台，得到了联想、戴尔集团、慧与等硬件厂商的大力支持。戴尔科技、慧与和联想即将推出采用 NVIDIA L40S GPU 和NVIDIA BlueField 的服务器，以支持 VMware Private AI Foundationwith NVIDIA，共同合作推动生成式AI平台的应用落地。

正发Justin Boitano所述，NVIDIA携手VMware打造的VMware Private AI Foundation with NVIDIA，将大幅减化生成式AI的开发与部署，加速推进生成式AI在各行各业的应用，助推行业创新，加速企业数字化转型。