海思昇腾模型压缩工具使用指南（ONNX）

本文档详细介绍了如何使用昇腾模型压缩工具（Ascend Model CompressionToolkit，简称AMCT），对ONNX网络模型进行压缩。昇腾模型压缩工具是一个针对昇腾芯片亲和的模型压缩工具包，提供量化等多种模型压缩特性，压缩后模型体积变小，部署到SoC上后可使能低比特运算，提高计算效率，达到性能提升的目标。 昇腾模型压缩工具基于ONNX+ONNX Runtime框架运作，实现了模型中模型部署优化、数据与权重8比特量化的功能，该工具优点如下： ● 使用方便，安装工具包即可。 ● 接口简单，在用户基于ONNX Runtime框架的推理脚本基础上，调用API即可完成模型压缩。 ● 与硬件配套，生成的压缩模型经过ATC工具转换后可在SoC上实现8比特推理。 ● 量化可配置，用户可自行修改量化配置文件，调整压缩策略，获取较优的压缩结果。