[导读]COMPUTEX—2024 年 6 月 2 日—NVIDIA 在本日公布，全球 2,800 万开江南体育辟者现可下载 NVIDIA NIM™——一种推理微办事，经由过程经优化的容器的情势供给模子——以摆设在云、数据中间或工作站上。借助 NVIDIA NIM，开辟者可以或许轻松地为 copilots、聊天机械人等构建生成式 AI 利用，所需时候从数周缩短至几分钟。 ● 来自 AI 生态系统各个范畴的 150 余家合作火伴嵌入了 NIM 推理微办事，将企业级 AI 利用的摆设时候从数周缩短至几分钟 ● NVIDIA 开辟者打算会员可免费利用 NIM 来进行研究、开辟和测试 COMPUTEX—2024 年 6 月 2 日—NVIDIA 在本日公布，全球 2,800 万开辟者现可下载 NVIDIA NIM™——一种推理微办事，经由过程经优化的容器的情势供给模子——以摆设在云、数据中间或工作站上。借助 NVIDIA NIM，开辟者可以或许轻松地为 copilots、聊天机械人等构建生成式 AI 利用，所需时候从数周缩短至几分钟。 这些新的生成式 AI 利用正变得愈来愈复杂，凡是需要利用具有分歧功能的多个模子来生成文本、图象、视频、语音等。NVIDIA NIM 供给了一种简单、尺度化的体例，将生成式 AI 添加到利用中，显著提高了开辟者的工作效力。 NIM 还可以使企业可以或许最年夜限度操纵其根本举措措施投资。例如，相较在未利用 NIM 的环境下，在 NIM 中运行 Meta Llama 3-8B 时，后者在加快根本举措措施上可发生高达 3 倍的生成式 AI token。这使企业可以或许年夜幅提高效力，利用不异的计较根本举措措施来生成更多的成果。 包罗 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家手艺合作火伴正在将 NIM 集成到他们的平台中，以加速特定范畴利用的生成式 AI 摆设，例如 copilot、代码助手和数字人虚拟形象。从 Meta Llama 3 最先，在 Hugging Face 上现已最先供给 NIM。 NVIDIA 开创人兼首席履行官黄仁勋暗示：“每一个企业都但愿在其运营中融入生成式 AI，但并不是每一个企业都具有专门的 AI 研究团队。NVIDIA NIM 可被集成到肆意平台中，任何处所的开辟者都可以拜候，而且可以在肆意情况中运行——它正在助力科技行业将生成式 AI 普和到每个企业组织。” 经由过程 NVIDIA AI Enterprise 软件平台，企业可使用 NIM 在出产系统中摆设 AI 利用。从下个月最先，NVIDIA 开辟者打算的会员可以避免费利用 NIM，在其选择的根本举措措施长进行研究、开辟和测试。 40 余个 NIM 微办事为跨模式的生成式 AI 赋能 NIM 容器是预构建的，以加快模子摆设，可用在 GPU 加快推理，此中包罗 NVIDIA CUDA 软件、NVIDIA Triton 推理办事器™和 NVIDIA TensorRT™-LLM 软件。 在 ai.nvidia.com 网站上，跨越 40 个 NVIDIA 和社区模子可作为 NIM 端点进行体验，此中包罗 Databricks DBRX、谷歌开放模子 Gemma、Meta Llama 3、微软 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake Arctic。 开辟者此刻可以从 Hugging Face AI 平台上，拜候 Meta Llama 3 模子的 NVIDIA NIM 微办事。经由过程基在 NVIDIA GPU 的 Hugging Face 推理端点，只需点击几下，开辟者就可以在其选择的云平台上轻松地拜候和运行 Llama 3 NIM。 企业可使用 NIM 来运行用在生成文本、图象和视频、语音和数字人的利用。借助面向数字生物学的 NVIDIA BioNeMo™ NIM 微办事，研究人员可以构建新的卵白质布局，加快药物研发。 数十家医疗公司正在一系列利用中摆设 NIM，以便在手术计划、数字助手、药物研发和临床实验优化等一系列利用中为生成式 AI 推理供给动力。 借助全新的 NVIDIA ACE NIM 微办事，开辟者可以在客户办事、长途医疗、教育、游戏和文娱等利用中，轻松构建和操作绘声绘色的交互式数字人。 数百家 AI 生态系统合作火伴已嵌入 NIM 包罗 Canonical、Red Hat、Nutanix 和 VMware(已被博通收购)在内的平台供给商已在开源 KServe 或企业解决方案方面撑持 NIM。AI 利用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在摆设 NIM 来撑持生成式 AI 推理。 领先的 AI 东西和 MLOps 合作火伴(包罗亚马逊 SageMaker、微软 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights Biases)也已将 NIM 嵌入到其平台，使开辟者可以或许经由过程优化推理来构建和摆设特定范畴的生成式 AI 利用。 全球系统集成商和办事交付合作火伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔咨询办事(TCS)和威普罗(Wipro)已成立了 NIM 能力，以帮忙全球企业快速开辟和摆设出产型 AI 策略。 企业几近可以在任何处所运行撑持 NIM 的利用，包罗在全球根本举措措施制造商思科、戴尔科技、慧与、联想和超微，和办事器制造商永擎电子、华硕、技嘉、鸿佰科技、英业达、和硕、QCT、纬创资通和纬颖科技的 NVIDIA 认证系统™ 上运行。NIM 微办事也已集成至亚马逊云科技、谷歌云、Azure 和 Oracle 云根本举措措施中。 行业巨子经由过程 NIM 增强生成式 AI 行业带领者 Foxconn、和硕、Amdocs、劳氏公司、 ServiceNow 和西门子操纵 NIM 来增强生成式 AI 利用，触及制造业、医疗、金融办事、零售、客户办事等范畴： ● Foxconn——作为全球最年夜的电子制造商，Foxconn 正在利用 NIM 开辟针对特定范畴的年夜说话模子(LLM)，并将这些模子嵌入到其 AI 工场的各类内部系统和流程中，用在智能制造、聪明城市和智能电动汽车。 ● 和硕——这家中国台湾电子制造公司正在将 NIM 用在 Project TaME，这是一个本地的夹杂专家(MoE)模子，旨在鞭策各行各业开辟当地化的 LLM。 ● Amdocs——这家为通讯和媒体公司供给软件和办事的全球领先供给商正在利用 NIM 运行客户计费 LLM，该模子显著下降了 token 本钱，将正确性提高了 30%，并将延迟下降了 80%，从而实现近乎及时的响应。 ● 劳氏公司——这家《财富》杂志 50 强家居装潢公司正在将生成式 AI 用在各类用例，例如，该零售商正在操纵 NVIDIA NIM 推理微办事来晋升员工和客户的体验。 ● ServiceNow——这个用在营业转型的 AI 平台在本年早些时辰公布成为首批接入 NIM 的平台供给商之一，帮忙客户实现快速、可扩大且更具本钱效益的 LLM 开辟和摆设。NIM 微办事已集成到 Now AI 多模态模子中，可供添加了 ServiceNow 的生成式 AI 功能 Now Assist 的客户利用。 ● 西门子——作为专注在工业、根本举措措施、交通和医疗范畴的全球科技公司，西门子正在将其运营手艺与 NIM 微办事整合，用在车间 AI 工作负载。另外，西门子还操纵 NIM 为其 Machine Operators 构建了一个当地摆设版本的 Industrial Copilot。 开辟者可在 网站上免费试用 NVIDIA 微办事。企业可经由过程在 NVIDIA 认证系统和领先的云平台上运行的 NVIDIA AI Enterprise 来摆设出产级 NIM 微办事。从下个月最先，NVIDIA 开辟者打算的会员将可以或许免费利用 NIM 来进行研究和测试。

一向以来，英特尔致力在与行业领先、立异的生态火伴展开合作，并针对AI模子进行优化。近日，英特尔公布其数据中间、客户端和边沿的AI解决方案为阿里云通义千问2(Qwen2)的全球发布供给撑持。

云办事供给商、GPU 云供给商和企业用户纷纭采取 Spectrum-X；NVIDIA 收集经由过程泛博系统制造商进入各个市场 要害字： 生成式 AI 以太网

May 30, 2024 ---- 按照TrendForce集邦咨询研究，NVIDIA Hopper平台H100在本年第一季欠缺景象逐步纾解，属同平台的新品H200在第二季后逐步放量，第三季新平台Blackwell将进入...

人工智能（AI）在处置年夜量资料时，其实相当耗能，供电已经是将来摆布AI成长的主要要害之一，不外，摩根年夜通发布研究陈述指出，AI 数据中间巨量水耗损问题相对被轻忽，2030 年天天用水量可能到达 4.5 亿加仑。