NVIDIA NIM 革命性地改變模型部署，將全球數百萬開發者轉變為生成式 AI

供稿 / 2024-06-03 10:094432

【NVIDIA 新聞稿】NVIDIA NIM 革命性地改變模型部署，將全球數百萬開發者轉變為生成式 AI 開發者153.png

COMPUTEX—2024 年 6 月 2 日—NVIDIA 于今日宣布，全球 2,800 萬開發者現可下載 NVIDIA NIM?——一種推理微服務，通過經優化的容器的形式提供模型——以部署在云、數據中心或工作站上。借助 NVIDIA NIM，開發者能夠輕松地為 copilots、聊天機器人等構建生成式 AI 應用，所需時間從數周縮短至幾分鐘。

這些新的生成式 AI 應用正變得越來越復雜，通常需要使用具有不同功能的多個模型來生成文本、圖像、視頻、語音等。NVIDIA NIM 提供了一種簡單、標準化的方式，將生成式 AI 添加到應用中，顯著提高了開發者的工作效率。

NIM 還可使企業能夠最大限度利用其基礎設施投資。例如，相較于未使用 NIM 的情況下，在 NIM 中運行 Meta Llama 3-8B 時，后者在加速基礎設施上可產生高達 3 倍的生成式 AI token。這使企業能夠大幅提高效率，使用相同的計算基礎設施來生成更多的結果。

包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家技術合作伙伴正在將 NIM 集成到他們的平臺中，以加快特定領域應用的生成式 AI 部署，例如 copilot、代碼助手和數字人虛擬形象。從 Meta Llama 3 開始，在 Hugging Face 上現已開始提供 NIM。

NVIDIA 創始人兼首席執行官黃仁勛表示：“每個企業都希望在其運營中融入生成式 AI，但并非每個企業都擁有專門的 AI 研究團隊。NVIDIA NIM 可被集成到任意平臺中，任何地方的開發者都可以訪問，并且可以在任意環境中運行——它正在助力科技行業將生成式 AI 普及到每一個企業組織。”

通過 NVIDIA AI Enterprise 軟件平臺，企業可以使用 NIM 在生產系統中部署 AI 應用。從下個月開始，NVIDIA 開發者計劃的會員可以免費使用 NIM，在其選擇的基礎設施上進行研究、開發和測試。

40 余個 NIM 微服務為跨模式的生成式 AI 賦能

NIM 容器是預構建的，以加速模型部署，可用于 GPU 加速推理，其中包括 NVIDIA CUDA? 軟件、NVIDIA Triton 推理服務器?和 NVIDIA TensorRT?-LLM 軟件。

在 ai.nvidia.com 網站上，超過 40 個 NVIDIA 及社區模型可作為 NIM 端點進行體驗，其中包括 Databricks DBRX、谷歌開放模型 Gemma、Meta Llama 3、微軟 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake Arctic。

開發者現在可以從 Hugging Face AI 平臺上，訪問 Meta Llama 3 模型的 NVIDIA NIM 微服務。通過基于 NVIDIA GPU 的 Hugging Face 推理端點，只需點擊幾下，開發者就能在其選擇的云平臺上輕松地訪問和運行 Llama 3 NIM。

企業可以使用 NIM 來運行用于生成文本、圖像和視頻、語音以及數字人的應用。借助面向數字生物學的 NVIDIA BioNeMo? NIM 微服務，研究人員可以構建新的蛋白質結構，加速藥物研發。

數十家醫療公司正在一系列應用中部署 NIM，以便在手術規劃、數字助手、藥物研發和臨床試驗優化等一系列應用中為生成式 AI 推理提供動力。

借助全新的 NVIDIA ACE NIM 微服務，開發者可以在客戶服務、遠程醫療、教育、游戲和娛樂等應用中，輕松構建和操作栩栩如生的交互式數字人。

數百家 AI 生態系統合作伙伴已嵌入 NIM

包括 Canonical、Red Hat、Nutanix 和 VMware（已被博通收購）在內的平臺提供商已在開源 KServe 或企業解決方案方面支持 NIM。AI 應用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 來支持生成式 AI 推理。

領先的 AI 工具和 MLOps 合作伙伴（包括亞馬遜 SageMaker、微軟 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights & Biases）也已將 NIM 嵌入到其平臺，使開發者能夠通過優化推理來構建和部署特定領域的生成式 AI 應用。

全球系統集成商和服務交付合作伙伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔咨詢服務（TCS）和威普羅（Wipro）已經建立了 NIM 能力，以幫助全球企業快速開發和部署生產型 AI 策略。

企業幾乎可以在任何地方運行支持 NIM 的應用，包括在全球基礎設施制造商思科、戴爾科技、慧與、聯想和超微，以及服務器制造商永擎電子、華碩、技嘉、鴻佰科技、英業達、和碩、QCT、緯創資通和緯穎科技的 NVIDIA 認證系統? 上運行。NIM 微服務也已集成至亞馬遜云科技、谷歌云、Azure 和 Oracle 云基礎設施中。

行業巨頭通過 NIM 加強生成式 AI

行業領導者 Foxconn、和碩、Amdocs、勞氏公司、 ServiceNow 和西門子利用 NIM 來加強生成式 AI 應用，涉及制造業、醫療、金融服務、零售、客戶服務等領域：

● Foxconn——作為全球最大的電子制造商，Foxconn 正在使用 NIM 開發針對特定領域的大語言模型（LLM），并將這些模型嵌入到其 AI 工廠的各種內部系統和流程中，用于智能制造、智慧城市和智能電動汽車。

● 和碩——這家臺灣電子制造公司正在將 NIM 用于 Project TaME，這是一個當地的混合專家（MoE）模型，旨在推動各行各業開發本地化的 LLM。

● Amdocs——這家為通信和媒體公司提供軟件和服務的全球領先供應商正在使用 NIM 運行客戶計費 LLM，該模型顯著降低了 token 成本，將準確性提高了 30%，并將延遲降低了 80%，從而實現近乎實時的響應。

● 勞氏公司——這家《財富》雜志 50 強家居裝飾公司正在將生成式 AI 用于各種用例，例如，該零售商正在利用 NVIDIA NIM 推理微服務來提升員工和客戶的體驗。

● ServiceNow——這個用于業務轉型的 AI 平臺于今年早些時候宣布成為首批接入 NIM 的平臺提供商之一，幫助客戶實現快速、可擴展且更具成本效益的 LLM 開發和部署。NIM 微服務已經集成到 Now AI 多模態模型中，可供添加了 ServiceNow 的生成式 AI 功能 Now Assist 的客戶使用。

● 西門子——作為專注于工業、基礎設施、交通和醫療領域的全球科技公司，西門子正在將其運營技術與 NIM 微服務整合，用于車間 AI 工作負載。此外，西門子還利用 NIM 為其 Machine Operators 構建了一個本地部署版本的 Industrial Copilot。

可用性

開發者可在 ai.nvidia.com 網站上免費試用 NVIDIA 微服務。企業可通過在 NVIDIA 認證系統和領先的云平臺上運行的 NVIDIA AI Enterprise 來部署生產級 NIM 微服務。從下個月開始，NVIDIA 開發者計劃的會員將能夠免費使用 NIM 來進行研究和測試。

點個贊647