基于滤波器修剪的高效音频卷积神经网络

人工智能（AI）的最新趋势是使用卷积神经网络（CNNs），与其他现有方法相比，卷积神经网络提供了显著的性能。然而，细胞神经网络的大尺寸和高计算成本是在智能手机等资源受限设备上部署细胞神经网络时的瓶颈。

此外，对细胞神经网络进行数小时的训练会导致更多的二氧化碳排放。例如，用于训练细胞神经网络48小时的计算设备（NVIDIA GPU RTX-2080 Ti）产生的二氧化碳相当于一辆平均行驶13英里的汽车所排放的二氧化碳。为了估算二氧化碳，他们的研究人员使用了一种公开可用的工具。

因此，研究人员旨在将细胞神经网络压缩为：

降低计算复杂度以实现更快的推理。

减少内存占用，以便有效地使用底层资源。

通过分析在压缩细胞神经网络的微调过程中有多少训练示例足够，以实现与使用未压缩细胞神经网的所有训练示例获得的性能相似的性能，来减少细胞神经网络训练阶段的计算数量。

解决方案

压缩细胞神经网络的方向之一是通过“修剪”，即从原始网络中明确删除不重要的过滤器，以构建紧凑或修剪的网络。修剪后，对修剪后的网络进行微调，以恢复性能损失。

本研究提出了一种基于余弦距离的算法，用于在开放的音频场景分类cnn滤波器空间中修剪相似滤波器。此外，研究人员通过减少修剪的计算时间来提高算法的效率。

他们发现，提出的修剪方法将每个推理的计算次数减少了27%，内存需求减少了25%，准确性下降了不到1%。在对修剪后的cnn进行微调时，减少25%的训练样例得到的性能与使用所有样例得到的性能相似。他们公开了所提出的算法的可重复性，并提供了一个视频演示，解释了我们发表的工作的方法和结果。

此外，他们在不降低性能的情况下，将所提出的修剪方法的计算时间提高了3倍。