
中国作为人口大国,城市化进程的发展非常迅速,再加上中国智能物联网和机器学习方面技术的快速发展,中国市场对于视觉的应用和创新水平都在世界上处于领先地位。Arm 物联网事业部业务拓展副总裁马健表示,从Arm 中国合作伙伴的反馈来看,中国的 IPC 视觉系统已经达到了红海市场。怎样才能让合作伙伴能够聚焦于差异化,而不是去做大量重复性的基础 IP 整合工作、基础软件的开发工作,这其实是 Arm 和安谋科技携手合作推出 Arm 智能视觉参考设计的初衷,也非常符合中国的特点。此次发布的智能视觉参考设计只面向中国市场。

“Arm 智能视觉参考设计”结合 Arm 与安谋科技市场领先的 IP,助力中国客户加速视觉应用设备开发
据悉,此次发布的Arm 智能视觉参考设计包括:
Arm Corstone™-1000:整合 Cortex-A、Cortex-M 处理器与内建安全性,为不同应用在受限的功耗范围内提供效率及高性能。
Arm Corstone-300:为机器学习工作负载提供“永远在线”的低功耗子系统。
Arm Mali™-C55 图像信号处理器 (ISP):在极小的芯片面积条件下,提供可配置、高能效、高性能的图像质量。
来自安谋科技的第三方 IP 在视频和机器学习能力方面提供更多选项:
o “玲珑”V5 视频处理器:支持紧凑的、多格式 (例如H.264, H.265) 且高效能的视频编解码处理。
o “周易” NPU:为广泛的机器学习用例提供高达 4TOPS 的性能表现,并且支持业界主流的 AI 规模框架,例如 Tensorflow、Caffe、ONNX、Pytorch 等。
安谋科技智能物联及汽车业务线负责人赵永超表示,此次 Arm 和安谋科技的合作中的智能视觉参考设计采用了安谋科技自研 VPU 和 NPU。“玲珑” VPU 作为编解码融合、灵活可配、可编程的多核视频处理器,不断在编码标准、编码质量、PPA(功耗、性能、面积)等各个方面进行提升,并保持与 Arm 架构以及多媒体生态的兼容,安谋科技目前已经完成了两代VPU产品的研发,增加了 AVS2 和 AV1 的格式,满足行业对标准的需求。除了增加格式之外,V5、V7 的 HEVC 编码质量提升了 15%,对比 V5、V7,全新一代视频处理器“玲珑”V6、V8 的 H.264 编码质量提升了 10%,现已经全面达到并高于行业客户对编码质量的要求。
面对多样化的产品需求,“玲珑”VPU 不断增强图像的前后处理能力,增加了按任意比例缩放优化的后处理,增加了 OSD 的前处理和 YUV 到 RGB 的后处理等。“玲珑” VPU 软件可编程,因此,在硬件量产后仍然可以进行优化和迭代,并根据客户的需求进行升级。由于 AFBC (Arm Frame Buffer Compression, Arm系统层面上的无损压缩) 的支持,“玲珑” VPU 可以降低 35% 的带宽。综上,“玲珑”VPU 可以为合作伙伴提供灵活的组合和选择。
智能视觉参考设计也采用了安谋科技自研的 NPU。“周易” NPU 是灵活可配置的人工智能加速器,根据客户和市场需求配置出 1-30 TOPS 的处理性能,在 4 TOPS 的典型配置下,在 16 纳米工艺上实现面积只有 3.3 个平方毫米。“周易” NPU 可以支持多种典型的深度学习框架,如 Tensorflow、Caffe、Pytorch等,可以加速客户应用的部署。目前已经针对 100 多种算子算法进行了优化适配,并表现出了出色性能,包括常见的 CNN 网络以及 Transformer 网络,并已经完成了对 ChatGPT 大模型的适配。“周易” NPU 已经在多家客户落地量产,产品应用涵盖了汽车智能座舱、自动驾驶、智能物联网、安防监控等多个行业应用。
与此同时,Arm 宣布了“Arm 智能视觉合作伙伴计划”,该计划汇集软件、硬件、系统集成商伙伴,帮助设计者与开发者加速将其生产就绪的视觉应用设备推向中国市场。加入该计划的合作伙伴将与视觉应用生态厂商紧密合作,共同优化产品与开发者体验,加速推向市场。目前已有十多家来自智能物联网的芯片设计、系统集成、AI 算法、开发平台等国内领先企业均已加入该项计划。包括安凯微电子、诚迈科技、爱芯元智、百度飞桨、昱感微电子等十多家生态伙伴的加入,协力加速中国智能视觉的创新应用。

“Arm 智能视觉合作伙伴计划”已获十多家生态伙伴加入支持,协力加速中国智能视觉的创新应用
关于Arm
Arm 技术正定义着计算的未来。Arm 低功耗处理器设计和软件平台已应用于超过 2,500 亿颗芯片的高级计算,Arm 的技术安全地为电子设备提供支持,覆盖从传感器到智能手机乃至超级计算的多样化应用。Arm 携手超过 1,000 家技术合作伙伴,使人工智能变得无处不在,并在网络安全领域为从芯片到云端的数字世界奠定信任的根基。Arm 架构是未来的基石。


扫描二维码
关注更多精彩