IBM 描述了可能取代耗电 GPU 的模拟 AI 芯片

IBM研究院开发了一种用于AI推理的混合信号模拟芯片，它声称可能能够与GPU等数字对应物的性能相匹配，同时消耗更少的功率。

该芯片目前被理解为一个研究项目，上周发表在Nature Electronics上的一篇论文中有详细说明。它使用相变存储器和数字电路的组合，直接对存储在芯片上的网络权重执行矩阵-矢量乘法。

这不是IBM作为其HERMES项目的一部分开发的第一个此类芯片，但最新的化身包括64个瓷砖或计算内核，而不是它在34年IEEE VLSI研讨会上展示的2021块芯片。IBM声称，它还展示了提供可行的低功耗模拟AI推理加速器芯片所需的许多构建模块。

例如，64个内核通过片上通信网络互连，芯片还实现了处理卷积层所需的附加功能。

深度神经网络 （DNN） 推动了 AI 的许多最新进展，例如基础模型和生成 AI，但在当前架构中，内存和处理单元是分开的。

这意味着计算任务涉及在内存和处理单元之间不断打乱数据，这减慢了处理速度，并且是能源效率低下的关键来源。

IBM的芯片遵循一种称为模拟内存计算（AIMC）的方法，使用相变存储器（PCM）单元将权重存储为模拟值并执行计算。

芯片的 64 个内核中的每一个都包含一个 PCM 交叉数组，能够存储 256×256 权重矩阵，并使用内核外部提供的输入激活执行模拟矩阵矢量乘法。

这意味着每个内核都可以执行与 DNN 模型层相关的计算，权重编码为 PCM 器件的模拟电导值。

数字组件由一排八个全局数字处理单元 （GDPU） 组成，这些单元提供处理具有卷积和长短期记忆 （LSTM） 层的网络时所需的额外数字后处理功能。

本文重点介绍了如何使用数模转换器对PCM单元进行编程，这些转换器生成具有可变电流幅度和持续时间的编程脉冲。在此之后，该内核可用于执行矩阵-矢量乘法，方法是将脉宽调制（PWM）读取电压脉冲施加到PCM阵列，其输出由256个基于时间的模数转换器阵列数字化。

当然，这是一种过于简化的做法，因为IBM发表在Nature Electronics上的论文详尽地详细介绍了每个AIMC中的电路如何操作以处理深度学习模型的权重。

该论文还展示了该芯片如何实现接近软件等效的推理精度，据说在CIFAR-92图像数据集上为81.10%。

IBM还声称，测量的每面积矩阵-矢量乘法吞吐量为每平方毫米每秒400千兆操作（400 GOPS/mm）。²） 比以前基于电阻存储器的多核芯片高 15 倍以上，同时实现了相当的能效。

IBM似乎没有提供与其他AI处理系统（如GPU）的有用能效比较，但确实提到，在测试期间，ResNet-9的单个输入在1.52 μs内处理，消耗1.51μJ的能量。

IBM的论文声称，通过额外的数字电路来实现层到层激活传输和本地内存中的中间激活存储，应该可以在这样的芯片上运行完全流水线的端到端推理工作负载。

作者表示，AIMC加速器还需要进一步提高重量密度，才能成为GPU等现有数字解决方案的强大竞争对手。

用于测试的芯片是在纽约IBM的奥尔巴尼纳米技术中心采用14nm工艺制造的，并以1GHz的最大矩阵矢量乘法时钟频率运行。

IBM并不是唯一一家致力于AI模拟芯片的公司。去年，发表在《自然》杂志上的另一篇研究论文描述了一种将重量存储在电阻RAM（RRAM）中的实验芯片。据估计，有问题的芯片将消耗不到2微瓦的功率来运行典型的实时关键字发现任务。

相比之下，使用 GPU 的用于 AI 任务的典型计算基础设施越来越耗电。据报道，一些数据中心运营商现在支持用于AI处理的基础设施每个机架高达70千瓦，而传统工作负载通常每个机架要求不超过10千瓦。