请教一个问题，海思3536与FPGA级联实现神经网络加速如何设计？

海思

FPGA

Hi3536

本帖最后由 aiyangyang963 于 2019-5-24 14:25 编辑

想实现海思和FPGA的级联，还请各位大神指点迷津！:handshake
背景：
海思3536与zynq FPGA搭建一个视频处理平台，3536负责实时视频解码，FPGA负责神经网络加速。
目前方案：
3536两个GMAC口，GMAC1负责接入视频流，从IPC/交换机或从NVR，最高要求：16路1080p或720p@25fps实时解码。
GMAC2将解码完后的图像数据流传输至zynq的ARM端，然后进行图像处理、神经网络加速。
疑问：
1. 3536实时解码完是YUV数据还是RGB，如何通过GMAC传输出去？
2. 3536是否可以实时实时地resize？16路视频解码完成后resize后再传输，否则带宽要求太高
3. 两个GMAC共享CPU资源，是否都可以达到千兆速率？单个千兆网口TCP吞吐量一般在700Mbps，两个线程同时跑的话各分一半带宽，那两个网口是不是也各分一半？还是都能达到700Mbps？

我来回答

回答3个

时间排序

认可量排序

zhuangweiye

8个粉丝

问答

专栏

资料

zhuangweiye 2019-05-24 15:00:07

认可0 回复引用举报

1. 解码完是YUV
2. 实时resize没有问题
3. 用网口输出图像不是好主意

楼主是否考虑过用bt1120或者pcie作为接口

另外楼主可以看看Hi3559AV100，也许一片就能满足需求（当然需要NNIE能做楼主的算法）

aiyangyang963

0个粉丝

问答

专栏

资料

aiyangyang963 2019-05-28 17:37:45

认可0 回复引用举报

有没有大神做过类似的东西啊？

aiyangyang963

0个粉丝

问答

专栏

资料

aiyangyang963 2019-05-26 00:51:33

认可0 回复引用举报

[quote]zhuangweiye 发表于 2019-5-24 15:00
1. 解码完是YUV
2. 实时resize没有问题
3. 用网口输出图像不是好主意
[/quote]

感谢。
为什么说网口不合适呢？是因为实时带宽达不到要求吗？
pcie预留给了pc通信用，部分裸码流还要回传至PC做一些其他算法。
3559a也看过，解码能力稍差吧，只有8路1080p@30，没有太多资料显示主流深度学习网络在上面跑的效果，比如目标检测，人脸识别这些