作者|云鹏
编辑|漠影
DeepSeek的火爆给全球AI产业发展带来的核心价值之一,就是极大加快了AI应用的普及,尤其在国内市场,几乎各类产品都在增加与AI能力的融合。
这意味着AI大语言模型将不再只是在天上飞(局限于云端),更是可以真正落地在我们身边生活中的设备上,走向边缘和端侧,而IoT市场作为边缘智能的代表性领域,成为这波边缘AI的最大关注点之一。
今天,随着AI技术的快速发展,IoT等边缘AI领域也逐渐涉及更复杂的算法,且涌现出了更多的边缘AI推理需求。这样一来,应用对计算性能以及算效比的需求越来越高,与此同时,数据安全问题也愈发凸显。
从智慧城市、智慧工业、智能家居、智能穿戴到新零售,AI技术的广泛应用带来了AI计算需求和安全性方面的新挑战。面对这些新的需求,行业正呼唤新的解法。
就在昨天,Arm发布了全球首个专为物联网优化,以全新的Cortex-A320 CPU和Arm Ethos-U85 NPU为核心的Armv9边缘AI计算平台。它不是CPU和AI加速器的简单堆叠,而是实现了CPU和NPU深度融合、相得益彰的解决方案。
这是Armv9架构诸多优势特性首次在IoT市场落地,其在效率、性能和安全方面的升级直指当下边缘AI新需求。与此同时,Arm还将软件层的KleidiAI拓展到了IoT领域,使边缘AI开发进一步简化。
Cortex-A320如何解决以IoT为代表的边缘AI领域行业需求痛点、Armv9带来了哪些关键技术升级?软件层面的新进展又如何加速IoT领域的技术创新、应用落地?我们将尝试找到答案。
一、边缘AI风暴来袭,算力和安全成两大IoT突出难题
近年来,随着AI技术的发展和广泛应用、计算需求快速增长,越来越多AI工作负载从数据中心和云端转向边缘侧进行处理,这给人们的生产和生活带来了切实的益处,但同时也带来计算性能瓶颈、安全挑战等问题。
比如在工业质检领域,AI视觉质检系统每带来1%的产线漏检率降低,可能意味着千万级的成本节约,但在复杂的工厂条件下实现这1% 的小目标,从技术上来讲绝非易事;汽车行业,自动驾驶与驾驶员的生命安全息息相关,它的成功应用需要激光雷达、摄像头等传感器的数据需要在100ms内融合并被模型处理。
智慧医疗领域,边缘AI系统通过实时分析监护仪数据,预警相关病症的早期症状,这一过程的高效与精准,高度依赖于底层芯片的性能表现,算力不足导致的预警延迟以及预测准确率下降,都会极大影响到病人的健康。
未来随着AI高清视频实时分析、AI工业设备故障检测等复杂任务需求越来越多,边缘AI计算能力的重要性愈发凸显。IoT领域正呼唤从芯片架构到算法层的全面革新,进而真正释放AI带来的革命性潜力。
在计算性能、效率之外,边缘AI的发展同样带来了数据安全层面的风险。在边缘计算中,随着越来越多的边缘AI设备接入网络,数据在边缘设备和云端或者其他边缘设备之间传输,容易受到网络攻击。
因此面对边缘AI迅猛发展,边缘设备必须具备更强的推理能力、更安全的计算架构。
从行业视角来看,传统边缘侧设备所使用的芯片以无法满足越来越多的实时AI处理、计算密集型推理任务。
在昨日的Arm新品发布会上,Arm物联网事业部业务拓展副总裁马健提到,在她近期与许多合作伙伴针对边缘AI的交流中,大家一致的反馈是,AI将使他们重新定义产品设计——把具有Transformer这种加速功能的 AI 加速器加进去,或者采用能够更好支持AI的CPU。
▲Arm物联网事业部业务拓展副总裁马健
IoT产业对于在边缘侧也能拥有更高性能的Cortex-A级别的计算能力以及升级至Armv9架构的需求十分突出,Arm的边缘AI平台新品,可以说是直指痛点。
二、10倍AI计算性能,异构计算扩展场景适应力,支持Armv9 四大安全特性
基于这样的行业背景,Arm此次推出了首款基于Armv9架构、专为边缘AI设计的 Cortex-A CPU——Cortex-A320,以及结合了Cortex-A320和Ethos-U85的边缘AI计算平台。
在AI计算性能和能效提升方面,Cortex-A320相比Cortex-A35最高有着10倍的AI计算性能提升,相比Cortex-A53也有6倍以上的提升,这对于增强边缘设备的推理能力十分关键。
相较Cortex-A520,Cortex-A320的能效提升可以达到50%,在相同芯片面积下,Cortex-A320较Cortex-A53有着15%的性能提升,相较Cortex-A35有30%左右的性能提升。
这样的性能和能效提升反应在产业落地端,究竟能够带来怎样的改变?
以一个贴近日常的例子来说,相较于Cortex-M系列,Cortex-A320在内存寻址能力、整体性能以及安全防护上均实现了显著提升,这使得它能够游刃有余地支撑起多种人机交互场景,特别是对视频流等视觉交互应用有着出色的支持。
设想一下,在某个重要的展览会上,你偶遇了一位熟人,却一时想不起他的名字,这时,你的智能眼镜就能即刻为你识别并提供对方的信息,甚至还能贴心地在你的视线中嵌入演讲要点,助你实现“即兴”发言。
随着技术的不断进步,智能眼镜这类边缘设备正逐步成为我们生活中的得力助手,让我们得以释放双手,去专注于更多想要完成的事情。
Arm Cortex-A320带来的不仅是技术参数的变化,在部分领域甚至可以带来商业模式升级重构。边缘AI的算力跃迁,本质是在重构人、机器与物理世界的交互范式。
除了性能和能效的提升,异构计算的特性支持也同样重要。
这次Arm的Cortex-A320与Ethos-U85 NPU一起组成了CPU+NPU协同计算架构,形成完整的异构计算平台。要知道,Ethos-U85是Arm Ethos-U产品线中的第三代NPU,也是迄今为止性能和能效最强的Ethos NPU,与上一代产品相比,其性能提升了4倍,能效提高了20%。
基于异构计算能力,任何开发者们不希望在Ethos-U85上运行的AI操作,都可以回退到Cortex-A320上,利用其Neon/SVE2引擎更灵活有效地在CPU上执行。
这样一来,智能物联网与消费类电子生态系统能够在正确的时间、合适的地方运行最适合的工作负载。
CPU与NPU的深度融合之下,新的AI计算平台可以覆盖更多应用场景,实现包括视觉和自然语言在内的多模态的环境感知与理解,进而运行AI智能体、自主规划、执行复杂任务。
8倍的机器学习计算性能提升,令其可以赋能边缘AI设备本地运行超过10亿参数的大模型,让基于大模型的生成式AI更好地在物联网领域落地。
值得一提的是,在当下AI大模型需求较高的内存访问性能方面,Cortex-A320支持更大的可寻址内存空间,能更灵活地管理多层次内存访问延迟。同时Cortex-A320还能运行功能更丰富的操作系统,让设备管理更灵活。
最后在安全性方面,Armv9支持MTE(内存标记扩展)、PAC(指针认证)、BTI(分支目标识别)以及S-EL2虚拟化,可以给边缘设备提供端到端的安全防护。
整体来看,在硬件层面,Arm的Cortex-A320与Ethos-U85异构计算平台是实实在在地帮助企业解决了性能、能效和安全方面的边缘AI新需求。Armv9架构层面的诸多优势特性,开始给IoT领域企业带来AI创新和应用落地的加速。
据悉,这次Arm发布的边缘AI计算平台已经获得亚马逊云科技、西门子、瑞萨电子、研华科技等厂商的支持。
三、Arm软件大招落地IoT,边缘AI规模化应用提速
当然,Arm的完整解决方案不止于此。硬件是基础,软件是加速器,软硬件组合拳才能更高效地解决边缘AI痛点,此次Arm还同步将KleidiAI引入IoT领域,加速AI应用在边缘落地。
纵观行业发展,完善的软件生态可以降低开发者门槛,而软件也一直是Arm计算平台不可或缺的一部分。
正如前文所提到的,边缘设备种类繁多,硬件性能和功能差异大,在这一场景中,出色软件技术可以优化算法和模型,使AI模型能在各种边缘设备上高效运行。
对于边缘设备有限的计算资源,软件技术可通过模型压缩、量化、优化算法等手段,在保证AI性能的前提下,降低模型对计算资源的需求,进而提高计算效率。
KleidiAI是一套专为AI框架开发者设计的计算内核,让开发者可以无缝地在Arm CPU上获取最佳性能,适用于各类设备。
从去年初次面向终端市场亮相、随后扩展至基础设施领域,KleidiAI如今进一步覆盖IoT领域,给各个领域的开发者提供所需的性能、工具和软件库支持。
简单来说,Arm Kleidi软件库最核心的作用就是帮助开发者让AI应用得到Arm CPU加速,因为目前全球大多数AI推理工作负载都在Arm CPU上运行。开发者不需要额外学习新工具和技能、无需复杂的集成工作,IoT应用开发门槛和成本大幅降低。
在出色的软件生态和丰富开发工具的支持下,Arm AI计算平台的灵活性得到了极大释放。
这次Arm的Cortex-A320兼容Linux、Zephyr、RTOS等多种操作系统,依托Arm Kleidi,可以适配Llama.cpp、ExecuTorch、MediaPipe等主流AI框架,实现70%性能提升,这对于AI应用在边缘落地是非常关键的。
马健在发布会上特别提到,这一优势让Cortex-A320在多个市场领域、应用场景和操作系统之间都具有更好的灵活性,对于合作伙伴来说,选择空间极大扩展,规划产品路线时也可以更好地适配不同场景需求。
此次Arm Kleidi扩展至物联网领域,进一步加强了Arm在IoT AI领域的技术优势,吸引更多开发者和企业基于Arm架构开发IoT应用,促进上下游产业的合作与创新。
展望未来,Arm的边缘AI计算平台必然将在IoT生态系统中扮演至关重要的角色,各个细分市场都将从Cortex-A320中受益,Arm无疑给IoT行业带来了更多可能性,为IoT市场的产品和应用创新打好了新的基础。
结语:IoT边缘AI提速,Arm软硬两手抓
近年来,Arm持续进行平台化转型,此次Arm发布首个面向IoT的Armv9处理器Cortex-A320、以及以Cortex-A320和Ethos-U85为核心的边缘AI计算平台,并扩展KleidiAI到物联网领域,无疑是通过软硬件协同,为边缘AI的加速发展、应用落地增添助力,也是Arm近年积极扮演赋能AI在各领域落地的有力展现。
放眼未来,AI计算正加速从云端走向边缘,未来边缘AI计算需求必然将持续增长,就像会中马健说道的,“AI的未来在边缘,而边缘AI的未来属于Arm。”我们拭目以待。
Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.