为什么不同的嵌入式 AI 处理器智能程度不一样

 移动设备上的人工智能已经不再依赖于云端连接,今年CES最热门的产品演示和最近宣布的旗舰智能手机都论证了这一观点。人工智能已经进入终端设备,并且迅速成为一个市场卖点。包括安全、隐私和响应时间在内的这些因素,使得该趋势必将继续扩大到更多的终端设备上。为了满足需求,几乎每个芯片行业的玩家都推出了不同版本、不同命名的人工智能处理器,像“深度学习引擎”、“神经处理器”、“人工智能引擎”等等。

 
嵌入式处理器是嵌入式系统的核心,是控制、辅助系统运行的硬件单元。范围极其广阔,从最初的4位处理器,目前仍在大规模应用的8位单片机,到最新的受到广泛青睐的32位,64位嵌入式CPU。
为什么不同的嵌入式 AI 处理器智能程度不一样
然而,并非所有的人工智能处理器都是一样的。现实是,许多所谓的人工智能引擎就是传统的嵌入式处理器(利用CPU和GPU)加上一个矢量向量处理单元(VPU)。VPU单元是专门为高效执行与计算机视觉及深度学习相关的繁重计算负载而设计的。虽然拥有一个强大的、低功耗的VPU是嵌入式人工智能的重要组成部分,但这不是故事的全部。VPU是组成一个出色的人工智能处理器的众多组件之一。VPU虽然经过精心设计,也确实提供了所需的灵活性,但它不是一个AI处理器。这里还有一些其它功能对于人工智能处理前端化至关重要。
为什么不同的嵌入式 AI 处理器智能程度不一样
                                                   NeuProTM - CEVA人工智能(机器学习)整体解决方案’
  
优化嵌入式系统的工作负载
  
在云计算处理过程中,采用浮点计算进行训练,定点计算进行推理,从而实现最大的准确性。用大型服务器群组进行数据处理,能耗和大小必须考虑,但他们相较于有边缘约束的处理几乎是无限的。在移动设备上,功耗、性能和面积(PPA)的可行性设计至关重要。因此在嵌入式SoC芯片上,优先采用更有效的定点计算。当将网络从浮点转换为定点时,会不可避免的损失掉一些精度。然而正确的设计可以最小化精度损失,可以达到与原始训练网络几乎相同的结果。
  
控制精度的方法之一是在8位和16位整数精度之间做出选择。虽然8位精度可以节省带宽和计算资源,但是许多商用的神经网络仍然需要采用16位精度以保证准确性。神经网络的每一层都有不同的约束和冗余,因此为每一层选择最佳的精度是至关重要的。
为什么不同的嵌入式 AI 处理器智能程度不一样