使用ncnn在树莓派4B上部署nanoDet-m网络(12fps)

1. 背景

在机器人的应用中，目标检测是一个重要的课题。深度学习的快速发展，在检测的效果方面对比大多数传统检测算法，都有明显的优势。但是将深度学习模型部署到端侧设备上，实现高效的推理，同样是一个问题很多的领域。

在机器人的主控中，树莓派和Jetson系列单板机被使用较多。这篇blog以树莓派4b为例，展示将深度学习模型部署到低算力平台的方法。

与深度学习在GPU上的推理不同，为了实现高效推理，一般都会选择使用推理框架，而不是直接使用python的推理代码进行推理。在CPU侧，常用的推理框架有ncnn、mnn、openvino等；在GPU侧，有tensorrt；高通在htp上，同样有snpe和qnn等推理框架。本blog使用树莓派的CPU进行推理，使用ncnn作为推理框架。

2. 效果

下图所示是在树莓派4b上推理nanoDet-m网络的结果。

图中的两个场景，在被检测目标较为密集的场合，检测算法也能达到11fps，且识别率很高。

除了网络的树莓派端侧推理结果之外，我还统计了一些在推理时，树莓派的相关信息。

将树莓派超频后，推理1分钟多的视频，平均fps可达11.4，最高可达12fps。且温度在合理的范围内。超频后，功耗比不超频状态下多了2.1w左右。

下图是我使用的功耗测试仪

3.nanoDet-m网络

如下图所示是这次要部署的网络，下图仅截取了部分backbone和部分heads网络。

下表是以YOLOv4 tiny作为对比对象的数据。nanoDet-m实现了在较低的FLOPs和params的情况下，得到了不错的mAP值，是一个非常适合端侧低算力设备推理的网络结构。

4. 我的树莓派信息

硬件： 树莓派4b、2G RAM、32G ROM、荣耀平板8充电头供电、全套散热装，如下图

软件：raspberry OS、上游分支Debian GNU/Linux 11 (bullseye)。

5. ncnn推理相关软件安装

下面介绍在树莓派4b端侧推理nanoDet-m网络，需要安装的组件以及安装方法。

5.1 安装ncnn

执行uname -a，确保是aarch64架构的系统。

执行如下安装指令

# check for updates
sudo apt-get update
sudo apt-get upgrade
# install dependencies
sudo apt-get install cmake wget
sudo apt-get install build-essential gcc g++
sudo apt-get install libprotobuf-dev protobuf-compiler
# download ncnn
git clone --depth=1 https://github.com/Tencent/ncnn.git
# install ncnn
cd ncnn
mkdir build
cd build
# build 64-bit ncnn
cmake -D NCNN_DISABLE_RTTI=OFF -D NCNN_BUILD_TOOLS=ON \
-D CMAKE_TOOLCHAIN_FILE=../toolchains/aarch64-linux-gnu.toolchain.cmake ..
make -j4
make install
# copy output to dirs
sudo mkdir /usr/local/lib/ncnn
sudo cp -r install/include/ncnn /usr/local/include/ncnn
sudo cp -r install/lib/libncnn.a /usr/local/lib/ncnn/libncnn.a

在~/ncnn/build/install/bin文件夹下，有很多转换模型的工具，这在我们后面的博客中会用得到，将onnx模型转换为ncnn支持的模型。

5.2 安装opencv4.5.5

（1）更新EEPROM
树莓派4b支持更新EEPROM中的固件，可有效降低树莓派的运行温度。

sudo rpi-eeprom-update
sudo rpi-eeprom-update -a
sudo reboot

(2) 源码编译安装opencv

不要使用pip或者apt安装opencv，这两种方式不能保证是64bit版本的，性能不能充分在树莓派上发挥出来。

在Preferences -> Raspberry Pi Configuration -> Performance -> GPU Memory设置项中，给GPU分配至少128M显存。

执行以下命令安装

# check for updates
sudo apt-get update
sudo apt-get upgrade
# dependencies
sudo apt-get install build-essential cmake git unzip pkg-config
sudo apt-get install libjpeg-dev libpng-dev
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install libgtk2.0-dev libcanberra-gtk* libgtk-3-dev
sudo apt-get install libgstreamer1.0-dev gstreamer1.0-gtk3
sudo apt-get install libgstreamer-plugins-base1.0-dev gstreamer1.0-gl
sudo apt-get install libxvidcore-dev libx264-dev
sudo apt-get install python3-dev python3-numpy python3-pip
sudo apt-get install libtbb2 libtbb-dev libdc1394-22-dev
sudo apt-get install libv4l-dev v4l-utils
sudo apt-get install libopenblas-dev libatlas-base-dev libblas-dev
sudo apt-get install liblapack-dev gfortran libhdf5-dev
sudo apt-get install libprotobuf-dev libgoogle-glog-dev libgflags-dev
sudo apt-get install protobuf-compiler

下载opencv4.5.5的源码包

cd ~
# 如果网络连接失败，在其他电脑上 访问这个网址下载好，再放到树莓派的 ~/ 目录下
wget -O opencv.zip https://github.com/opencv/opencv/archive/4.5.5.zip
wget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.5.5.zip
unzip opencv.zip
unzip opencv_contrib.zip
mv opencv-4.5.5 opencv
mv opencv_contrib-4.5.5 opencv_contrib

在执行编译之前，如果是2G RAM的树莓派，需要扩容swap分区，大于2G RAM的版本可忽略此项。
扩容swap方式（仅限2G RAM）

使用开源代码rpi_zram, 对swap进行扩容，按照github上的README操作就可以。

编译opencv4.5.5

cd ~/opencv
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE \
-D CMAKE_INSTALL_PREFIX=/usr/local \
-D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules \
-D ENABLE_NEON=ON \
-D WITH_OPENMP=ON \
-D WITH_OPENCL=OFF \
-D BUILD_TIFF=ON \
-D WITH_FFMPEG=ON \
-D WITH_TBB=ON \
-D BUILD_TBB=ON \
-D WITH_GSTREAMER=ON \
-D BUILD_TESTS=OFF \
-D WITH_EIGEN=OFF \
-D WITH_V4L=ON \
-D WITH_LIBV4L=ON \
-D WITH_VTK=OFF \
-D WITH_QT=OFF \
-D OPENCV_ENABLE_NONFREE=ON \
-D INSTALL_C_EXAMPLES=OFF \
-D INSTALL_PYTHON_EXAMPLES=OFF \
-D PYTHON3_PACKAGES_PATH=/usr/lib/python3/dist-packages \
-D OPENCV_GENERATE_PKGCONFIG=ON \
-D BUILD_EXAMPLES=OFF ..
make -j4
sudo make install
sudo ldconfig

验证安装，进入python编程环境

import cv2
print(cv2.__version__)

5.3 安装codeblocks

使用codeblocks在树莓派上进行开发。喜欢remote develop的也可以直接使用vscode的远程开发功能。

6. 推理通路代码

这部分内容，以及模型转换内容、树莓派超频等，我们留在下一节展开说明。