边缘人工智能芯片是什么-寒武纪正式推出边缘AI芯片思元220，实现最大算力32TOPS

11月14日消息，深圳高交会期间，AI芯片独角兽寒武纪推出面向边缘智能计算领域的AI芯片思源220（MLU220）和M.2加速卡产品。 加速卡售价1999元。 边缘通常连接各类传感器，来自传感器的数据往往是非结构化的，如视频、图像、语音等，难以直接用于控制和决策。 因此，需要边缘人工智能计算来结构化非结构化数据以进行控制和决策。 为此，寒武纪专门设计了用于边缘AI计算的芯片。 至此，寒武纪AI芯片已经实现了云端、边缘、终端的全方位、立体化覆盖。

01.峰值32TOPS，功耗仅10W

思源220是一款专门用于深度学习的SoC边缘加速芯片。 采用台积电16nm工艺，尺寸为15mm x 15mm。 它基于最新一代寒武纪智能处理器MLUv02架构，峰值算力达32 TOPS（INT4）。 功耗仅为10W，支持低功耗技术，进一步降低功耗。

思源220的高性能和低功耗设计主要得益于思源220采用了寒武纪最新一代处理器架构MLUv02。

MLUv02架构基于片上网络NoC，有六大改进和优化：

(1)提高单核性能。 通过重新设计计算电路，计算指令能效大幅提升，单核计算能力提升8倍；

(2)节省内存和带宽，增加数据压缩和解压缩指令，显着节省内存容量和内存访问带宽；

（3）高度灵活，指令集已扩展至近百项，功能更加强大、灵活；

(4) 精度可选择。 除INT8外，还增加了INT4和INT16精度运算指令。 您可以根据自己的需要灵活选择。 在高性能场景下，使用更高性能的INT4，在高精度场景下，使用更高精度的INT16。 ;

（5）增加了软件可管理的共享缓存，可以直接由软件控制进行处理器核之间的通信，并且可以利用内部的Shared Mem，大幅优化多核性能；

（6）方便处理复杂数据，增加灵活的转置等指令，可支持各种复杂数据预处理。

此外，思源220内置了主频1.5GHZ的高性能CPU 4核ARM A55，并集成了丰富的外设接口，包括：

（1）2个PCIe3.0 2×2接口，可连接NVMe等各种高速设备；

（2）eMMC5.1 HS400，支持高速eMMC存储，最高可达400MB/s；

（3）SDIO3.0边缘人工智能芯片是什么，可轻松连接各种存储设备以及WIFI、蓝牙等无线设备；

（4）双千兆网口，可以帮助客户实施双网口解决方案，实现内外网物理隔离，保护数据安全；

(5)LPDDR4X内存接口保证计算数据的高速交互和低功耗。

随着5G和AI时代的到来，海量数据处理需求驱动AI硬件向边缘扩展。 寒武纪副总裁刘道富认为，边缘计算主要带来三个优势：一是直接在边缘处理数据，大幅降低通信成本； 其次，显着降低延迟，解决实时处理需求； 第三，保护数据隐私和安全，无需将数据传回云端，减少数据泄露。

对此，MLU220边缘解决方案具有三大优势：

（1）数据安全性高：数据本地智能处理、脱敏上传。

(2)处理延迟低：数据实时分析，结果即时反馈。

（3）带宽利用率高：数据边缘清洗、智能分发、有效上传。

02.超小尺寸加速卡，只有U盘大小

基于思元220，寒武纪向市场推出了小尺寸M.2加速卡，未来还将推出更高算力的产品形态。

思源220-M.2边缘加速卡安装在U盘大小的卡上，计算能力为16 TOPS（INT4），功耗仅为8.25W，可提供8-频道高清视频。

该加速卡广泛应用于智能交通、智能电网、智能制造、智能金融、无人机、工厂质检、智慧教育、智慧医疗、智能零售等边缘计算场景，支持视觉、语音、自然等语言处理和传统机器学习和其他人工智能应用。

客户可以通过标准M.2接口快速部署到现有业务中，实现智能业务升级和边缘加速解决方案。

思源220芯片和板卡不仅具有算力高、功耗低、体积小的特点，而且还拥有成熟的软件栈和软件生态系统。

寒武纪的云、边缘、端芯片均采用统一的处理器架构和指令集，以及统一的软件堆栈。 这三个领域的生态可以相互促进，形成良性循环。

云提供完整的开发、调试和调优软件。 在云端开发的程序可以轻松快速地部署到终端和边缘，解决终端和边缘的开发、调试和调优困难的问题。 终端和边缘可以积累大量的客户和开发者，这些客户和开发者将反馈到云生态系统中，最终实现云、边缘和终端生态系统的繁荣。

具体到思源220，软件栈已经针对两代产品在云端进行了打磨。 通过端云一体的软件平台，思源220将继续支持寒武纪Neuware软件工具链，支持TensorFlow、Caffe、MXNet、PyTorch等业界主流编程框架。

是邦郎。 编程环境可以直接定制计算资源，满足多样化的AI定制需求。

寒武纪表示卡通人物，未来面对边缘计算、自动驾驶车辆计算、训练等不同场景，寒武纪将持续投入，推出更多AI处理器，持续提供更先进、灵活、快速、高效、性能卓越的AI处理器。全场景AI计算。 产品与服务。

03.思源系列芯片四大优势

本届高交会期间，寒武纪展出了最全系列的思元AI芯片产品，包括面向云的思元100、思元270，以及面向边缘的思元220。

今年6月，寒武纪发布了中国品牌“思源”及其第二代云端AI芯片思源270。去年寒武纪推出了云端AI芯片品牌MLU（Machine Learning Unit）和第一代云端AI芯片思源100。

总体而言，寒武纪系列具有以下四个共同优势：

1、通用性好

通用智能处理器，支持各种深度学习技术，支持多模态智能处理（视觉、语音和自然语言处理），应用范围广泛。

2、端云融合

率先提出“端云一体”智能处理思路，彻底打通端端和云端的智能处理。 终端和云芯片可以共享相同的软件界面和完整的生态系统。

3、能源效率高

与GPU处理器相比，它采用针对深度学习和人工智能应用特点定制的指令集和处理器架构，具有更好的能效比。

4、完整的软件开发环境

Cambricon NeuWare为思源系列提供了一整套成熟的开发环境Cambricon NeuWare，包括应用开发、功能调试、性能调优等一系列工具。

04.结论：填补国内边缘加速空白

自2018年5月发布第一代云端AI芯片思元100以来，寒武纪已完成云（思元100、思元270）、边缘（思元220）、端（寒武纪1A、1H、1M处理器IP）的完整覆盖AI芯片布局，广泛应用于多种场景。

随着5G时代的到来，边缘计算越来越受到关注，越来越多的系统、算法和应用厂商对其进行投入。 那么什么是边缘计算呢？ 简单来说，数据是在本地采集的表情包设计，比如在网关处，在这个交汇点进行数据的计算和处理。 与数据中心计算或云计算相比，边缘计算有几大优势：一是大大降低了传输成本。 在很多行业，比如电力、能源、工业领域，网络条件不好，改造通信基础设施的成本很高，所以直接在边缘处理数据，处理后的数据直接用于边缘决策，或者将有效信息传回云端进行集中决策，可以降低传输成本。 其次，显着降低延迟。 边缘计算通常有实时要求，因为必须在各种设备上做出实时决策。 然而，传统云计算由于网络延迟而难以实现实时性。 第三，在保护数据隐私和安全方面，边缘计算无需将数据或原始数据传回云端，从而极大地保护了数据安全和隐私，减少了数据泄露。

在所有类型的边缘计算中，人工智能是非常核心和重要的计算类型，因为边缘往往连接着各种传感器，而传感器数据往往是非结构化的，例如视频、图像和语音，很难将其直接用于控制和决策，因此需要边缘人工智能计算来结构化非结构化数据以用于控制和决策。

寒武纪也非常重视边缘人工智能计算市场和特点，针对边缘人工智能计算专门设计了芯片。 这是一款专为边缘计算而设计的人工智能芯片，可以为各种边缘设备提供强大的人工智能算力支持。

从算力的角度来看，我们可以将人工智能计算分为终端、云端和边缘； 第一种形式是终端，其形式是各种IOT设备和智能相机，典型的算力要求是1-4Tops； 第二种形式是终端。 第一种形式是云，典型的计算能力要求为数百Top。 第三是边缘。 这个市场的特点是既需要高算力又需要低功耗。

从产品分布来看，现在人工智能芯片种类繁多，但有一个特点是，除了高端云加速卡外，大部分产品的性能都在4Tops以下。 对于收集多个数据通道的边缘，它们需要更强大。 从算力上来说，8-30T这个范围的芯片很少。 寒武纪针对这一市场，设计了一款低功耗、高算力的边缘芯片思源220。

思源220的功耗仅为10W，并且支持低功耗技术，进一步降低功耗。 低功耗有什么好处？ 低功耗芯片可以更好地支持小型化设计并促进边缘部署。

思源220不仅功耗低，而且性能高。 10W功耗下，思源220最高可达到16Tops的8位定点性能； 而对于4位定点，思源220的性能达到了32Tops。 强大的计算能力使得边缘节点的智能不仅可以进行简单的数据清洗，还可以进行需要更高性能的更高级的智能处理。

思源220的高性能、低功耗设计主要得益于思源220采用了最新一代寒武纪处理器架构。

最新一代寒武纪人工智能处理器架构中有六大改进和优化。 首先是单核性能的提升。 通过重新设计计算电路，计算指令能效大幅提升，单核计算能力提升8倍。 其次，增加了数据压缩和解压缩指令，大大节省了内存容量和内存访问带宽； 第三，指令集扩展至近百项，功能更加强大和灵活； 增加了int4和int16操作指令，可以根据需要灵活选择。 ，高性能场景使用更高性能的int4，高精度场景使用更高精度的int16。 增加了共享软件可管理的共享缓存，可以让软件直接控制处理器核心之间的通信，从而大大优化多核性能； 最后，为了方便复杂数据的处理，增加了灵活的转置等指令，支持各种复杂数据的预处理。

所有这些先进的处理器架构都在该芯片中实现。

芯片亮相——工艺封装介绍，尺寸——性能再次介绍——除了集成非常高的性能外，还集成了通用计算能力和各种接口，方便在各种场景下部署。

这就是这个芯片，它叫思源220，它非常小，而且非常漂亮。 思源220采用台积电16年工艺，采用先进的FCCSP封装。 尺寸仅为15mmx15mm，仅为键盘按键大小。 如此小的尺寸使其可以部署在各种需要尺寸的边缘场景中。 不过，在这么小的芯片中，正如前面提到的，思源220集成了32Tops 4位定点性能、16Tops 8位定点性能、8Tops 16位定点性能的极高计算能力。 除了集成高性能外，还集成了通用计算能力和各种接口，方便各种部署场景。

思源220集成了高性能CPU，4核ARM A55，主频1.5GHZ。 还有丰富的外围接口。 其中，2个PCIe3.0x2接口，可连接NVMe等各种高速设备。

集成eMMC5.1 HS400，支持高速emmc存储，最高可达400MB/s； 它还集成了SDIO3.0，可以轻松连接各种存储设备和WIFI、蓝牙等无线设备；

它还集成了双千兆以太网端口，可以帮助客户实施双网口解决方案，实现内外网络的物理隔离，保护数据安全。 同时，为了保证计算数据的高速交互和低功耗，MLU220采用了LPDDR4X内存接口

思源220前期将以小型计算加速卡的形式在市场上推广。

首发产品——尺寸——功耗、算力——m2接口——除了高性能算力、极低功耗、紧凑尺寸外，还拥有成熟的软件堆栈和软件生态系统。

这是思源220推出的首款产品形态，思源220平方米加速卡。 它的尺寸也非常小，只有2.2cm x 8cm，相当于一个U盘的大小。 整个系统的功耗仅为8W。 实际计算能力可以达到4位定点性能的16tops。 该加速卡采用的m2接口广泛应用于边缘设备，可以轻松快速地集成到各种边缘设备中，为各类边缘设备提供便捷的人工智能升级。

思源220芯片和板卡不仅具有高性能计算能力、极低功耗、紧凑的尺寸，而且还拥有成熟的软件堆栈和软件生态系统。

一方面，寒武纪采用端云一体化的处理器架构和软件架构。

另一方面，成熟。 完整性（开发、调试、调整）。 编程语言。

寒武纪边缘芯片的软件非常齐全。 它不是一个单独的软件生态系统，而是整个寒武纪云边端云一体化生态战略的一部分。

无论是云端、终端还是边缘芯片，寒武纪都采用统一的处理器架构和指令集，以及统一的软件堆栈。 这三个领域的生态可以相互促进，形成良性循环。 云提供完整的开发、调试和调优软件。 在云端开发的程序可以轻松快速地部署到终端和边缘，解决终端和边缘开发、调试和调优困难的问题。 而在终端和边缘，可以积累大量的客户和开发者，这些都会反馈到云生态系统中，最终实现云、边缘、端生态系统的繁荣。 特别针对思源220边缘人工智能芯片是什么，软件堆栈已经针对云中的两代产品进行了打磨。 因此，220的软件的高起点让各行各业更容易实现边缘智能应用。

思源220平方米智能加速卡可支持各行各业。 包括但不限于图中区域：

电力（无人巡检、管廊机器人）、工厂（缺陷检测）、金融（表格OCR、保险智能定损）、交通（各类运输轨道异物检测）、教育（智慧课堂、智慧教师，通过人工智能学生学习效果数字化分析可为教师提供教学解决方案）、物流（无人物流车、用于检测暴力分拣的场地）、医疗（各种传感器数据检测诊断）、零售（VIP识别、生产新鲜度管理、购物识别、非接触式支付）。

自2018年5月寒武纪发布第一代云端AI芯片思元100及板卡以来，端云融合战略稳步推进，产品研发有序推进，商业落地稳步开展。 一年多前发布的思源100和今年发布的思源270已经广泛应用于各种场景。 此次发布的思源220填补了市场边缘加速解决方案的空白。

寒武纪表示：“作为人工智能芯片的先行者和领导者之一，寒武纪不断推动技术创新，致力于满足市场的多样化需求。本次推出的思源220系列产品将为合作伙伴和客户带来更高效、高速、强大、可靠的人工智能体验。”

面对日新月异的AI行业挑战，寒武纪也表示：“面向未来，寒武纪将持续投入并推出更多针对不同场景的AI处理器，包括边缘计算、自动驾驶车辆计算、培训等场景，持续提供更加先进、灵活、快速、高效、性能卓越的全场景AI算力产品和服务，让AI芯片助力各行各业，让机器更好地理解人类、服务人类。”

为了赋能各行各业，寒武纪希望思源220加速卡为客户提供普惠的边缘加速解决方案。 为了支持更多边缘AI应用场景的落地，思源220平方米模块提供了1999元的极具竞争力的价格，以不到2000元的成本为边缘设备提供高达16万亿的人工智能算力。 ，真正助力普惠AI，加速人工智能在更多行业的落地。 新推出的思源220为国内边缘加速市场增添了新的选择。