[导读]Arm 控股有限公司(纳斯达克股票代码：ARM，以下简称“Arm”)近期公布经由过程将Arm® Kleidi手艺集成到 PyTorch 和 ExecuTorch，赋能新一代利用在 Arm CPU 上运行年夜说话模子 (LLM)。Kleidi 聚集了最新的开辟者赋能手艺和要害资本，旨在鞭策机械进修 (ML) 手艺栈中的手艺协作和立异。经由过程这些主要进展，Arm 致力在为任一 ML 手艺栈的开辟者供给更加顺畅的体验。 •Arm 经由过程把 Kleidi 手艺集成到 PyTorch 和 ExecuTorch，将要害的 AI 机能优势从边侧拓展至云端，赋能新一代利用在 Arm CPU 上运行年夜说话模子。 •对普和 ML 工作负载的延续投入将使任一手艺栈的开辟者可以或许在最新的生成式 AI 模子上即刻取得显著的推理机能晋升。 •经由过程扩年夜与云办事供给商和首要的 ML 自力软件开辟商合作，进一步赋能全球的 AI 开辟者。 Arm 控股有限公司(纳斯达克股票代码：ARM，以下简称“Arm”)近期公布经由过程将Arm Kleidi手艺集成到 PyTorch 和 ExecuTorch，赋能新一代利用在 Arm CPU 上运行年夜说话模子 (LLM)。Kleidi 聚集了最新的开辟者赋能手艺和要害资本，旨在鞭策机械进修 (ML) 手艺栈中的手艺协作和立异。经由过程这些主要进展，Arm 致力在为任一 ML 手艺栈的开辟者供给更加顺畅的体验。 Arm 计谋与生态部开辟者手艺副总裁 Alex Spinelli 暗示：“Arm 正与领先的云办事供给商和框架设计者合作无懈，以打造便捷的开辟情况，让软件开辟者可以或许轻松地在基在 Arm 架构的硬件上加快人工智能 (AI) 和 ML 工作负载。自该手艺推出的四个月以来，Kleidi 已在 Arm CPU 上加快开辟并显著晋升首要的 AI 机能。Arm 与 PyTorch 社区的合作无懈印证了该手艺可以年夜年夜削减开辟者操纵高效 AI 所需的工作量。” 与领先框架集成，实现显著云端优势 在云端，Kleidi 以操纵 Arm Compute Libraries (ACL) 加强 PyTorch 带来的功效为根本，为世界各地在 Arm 平台上优化 AI 的开辟者打造蓝图。经由过程为开辟者免除没必要要的工程工作，以便开辟者能将 Arm 视为运行其要害 ML 工作负载的首选平台。作为实现这一愿景的要害一步，Arm 直接与 PyTorch 和 TensorFlow 进行 Arm Kleidi Libraries 的集成合作，这包罗将根基的 Arm 软件库直接集成到上述的领先框架中。 主要的是，这意味着当新的框架版本发布时，利用开辟者可以或许主动从其年夜幅的机能晋升中受益，而无需额外在 Arm 平台上从头编译。这项投入已对合作火伴关系发生了积极影响： Arm 聊天机械人演示由 Meta Llama 3 LLM 驱动，并运行在亚马逊云科技 (AWS) Graviton 处置器上，初次在主线 PyTorch 中实现了及时聊天响应。 按照在 AWS Graviton4 上所测得的数据显示，经由过程将 Kleidi 手艺集成到开源 PyTorch 代码库，词元 (token) 初次响应时候可提高 2.5 倍。 经由过程优化 torch.compile以充实操纵经由过程 ACL 供给的 Kleidi 手艺，在基在 AWS Graviton3 上所测得的数据显示，各类 Hugging Face 模子推理工作负载上的机能可晋升 1.35 至 2 倍。 这些仅是超卓的云端示例之一，却代表了在 Arm 平台上普和 ML 工作负载时可实现的机能加快类型。Arm 将延续投入，以确保开辟者的 AI 利用可以在其手艺上从云到边都能完善运行，此中包罗实现新功能的向前兼容，进而使得开辟者可以或许即刻从中受益。 合作助力开辟者紧跟生成式 AI 成长程序 跟着新的说话模子版本快速地推陈出新，生成式 AI 掀起了一波 AI 立异高潮。Arm 延续与 ML 手艺栈的各个要害环节合作无懈，联袂 AWS 和 Google 等云办事供给商和 Databricks 等敏捷强大的 ML 自力软件开辟商 (ISV) 社区，进而帮忙开辟者立在手艺前沿。 Google Cloud Compute 产物治理高级总监 Nirav Mehta 暗示：“Arm 和 Google Cloud 致力在为开辟者晋升 AI 的可拜候性和灵敏性，而 Kleidi 代表了经由过程软硬件协同优化知足 AI 需求所获得的主要进展。跟着我们的客户正积极采取基在 Arm 架构的定制 CPU —— Axion，我们等候在全部 ML 手艺栈中为客户带来加倍顺畅的集成体验。” Databricks 软件工程师Lin Yuan 暗示：“操纵 Databricks Data Intelligence Platform 进行 AI 和 ML 工作流的企业，将受益在跨 ML 软件栈的 Arm Kleidi 集成所带来的机能优化。借助由 Databricks ML Runtime 集群供给撑持的 Arm 架构 AWS Graviton 处置器，企业可以从各类 ML 软件库的加快中受益，同时下降云办事供给商的本钱。” 协助开辟者将 Arm 供给的资本利用到现实用例中相当主要，为此 Arm 建立示例软件栈和进修资本，向开辟者展现若何在 Arm CPU 上构建 AI 工作负载，进而敏捷鞭策了 Arm 系统的普遍采取，并加速了开辟者在 Arm 系统上的摆设速度。第一个案例是经由过程Kleidi 手艺加快聊天机械人的实现，本年晚些时辰 ML Ops 和检索加强生成 (RAG) 也将添加至这些用例，并打算在 2025 年实现更多功效。 延续晋升端侧机能 基在 Kleidi 在端侧的成长势头，KleidiAI 还将被集成到ExecuTorch(PyTorch 新的端侧推理运行时)。这项集成估计将在 2024 年 10 月完成，并有望为今朝正在 ExecuTorch 中进行出产测试或实现的端侧利用带来显著的机能晋升。今朝已完成的多项 KleidiAI 集成包罗与Google XNNPACK 和 MediaPipe，和腾讯的混元年夜模子，为其现实工作负载带来了显著晋升。 Kleidi 将继续与 PyTorch 和 ExecuTorch 的各版本和其他首要 AI 框架进行集成。从云数据中间到端侧装备，开辟者此刻可以即刻在各类装备上基在 Arm 平台高效运行高机能 AI 工作负载。Arm 将继续积极地面向 PyTorch 社区推出加强功能，并专注在针对各类整数格局供给量化优化，进一步提高机能，赋能 Arm CPU 年夜范围无缝运行新一代 AI 体验。 实现更多功效以赋能开辟者 PyTorch 正在鞭策 ML 开辟范畴的开辟立异。近日，Arm 插手 PyTorch 基金会成为 Premier 成员，这对 Arm 的 AI 之旅来讲，无疑是一个主要时刻。Arm 将延续致力在赋能全球各地的开辟者在 Arm 平台上充实阐扬端到端 AI 的潜力，进而塑造前沿的 AI 和利用功能。

北京2024年8月27日 /美通社/ -- 在8月23日举行的2024年长三角生态绿色一体化成长示范区结合招商会上，软通动力信息手艺（团体）股分有限公司（以下简称 软通动力 ）与长三角投资（上海）有限...

上海2024年8月26日 /美通社/ -- 本日，高端全合成润滑油品牌美孚1号联袂品牌体验官周冠宇，开启全新路江南体育程，助力泛博车主经由过程驾驶去摸索更广漠的世界。在全新发布的品牌视频中，周冠宇和分歧布景的消费者表达了对驾驶的酷爱...