【深度学习】LSTM神经网络解决COVID-19预测问题（一）

文章目录
1 概述
2 数据分析
3 SIR模型和LSTM网络的对比
4 LSTM神经网络的建立
5 参考

1 概述

我们将SIR传播模型和LSTM长短时记忆神经网络的预测效果做了对比。由于新型冠状病毒具有1-24天潜伏期的特点，SIR模型预测效果并不理想，所以最终选用LSTM长短时记忆神经网络并对LSTM神经网络进行训练和检验。数据来源于约翰·霍普金斯大学系统科学与工程中心发布在GitHub上的COVID-19数据库中的疫情发展时间序列（截止到2020年5月31日），基于问题一得出的世界范围内不同国家的五个分类等级，分别对这五个分类等级中的每个等级中随机一个国家的确诊病例数增长量做了预测，训练数据和测试数据比例为7/3，最终网络精确度较高，训练集和测试集的loss较低。

2 数据分析

针对此问题，我们首先考虑了SIR疾病传播模型，由于SIR传染病模型更多针对的是没有潜伏期的疫情，对于2020年初爆发的新型冠状病毒适用于控制阶段，但传播阶段预测效果并不是很理想。所以最终我们采用了约翰·霍普金斯大学系统科学与工程中心（CSSE）发布在GitHub上的COVID-19数据库[5]中的time_series_19-c ovid-Confirmed.csv疫情发展时间序列文件对LSTM[4]循环神经网络进行了网络训练、预测和评价。

3 SIR模型和LSTM网络的对比

SIR模型是疾病传播模型中的经典模型，其中Susceptible代表易感人群，Infective代表感染人群，Recovered代表康复人群。在SIR模型里，传染源也就是感染的患者群体，有一定的几率传染给易感人群（Susceptible），也存在可以康复、免疫和消亡的机会，如果其中的易感人群（Infective）存在交叉感染，它们就会变成新传染源循环此过程。人群可以划分为感染人群、易感人群和康复人群3类。如下图6所示，其中代表β感染系数，γ代表隔离(恢复)系数。

如下，可建立这样一个三房室模型：

对于SIR模型的基本假设，本研究在搭建COVID-2019动力学模型[6]中，假设前期感染人数和恢复人数占大国人口的比例可以忽略不计，因此认为易感人数始终和总人口数量相等，即Susceptible(s)=N。β=at+b为本研究加入的时间t函数，用来表示感染系数随时间变化的特征，因此，可以把(21)式写成：

利用Python3.6环境下的机器学习相关库对式子(25)进行处理，得到参数a和b的估计值。
根据上述模型和CSSE的疫情增长数据对诸多疫情严重的国家做了计算和预测，这里分别列出日本和美国在2020年1月22日-2020年3月21日和2020年1月22日-2020年5月31日的模型测试和评价结果。如下图7和图8所示。

图7

图8
图7为计算日本两个阶段的真实数据和预测数据，并且向后预测30天，发现前一阶段决定系数R2 的值接近于1，真实值曲线和预测值拟合效果较好，但是在第二阶段误差较大。图8为计算美国两个阶段的真实数据和预测数据，同样向后预测30天，发现预测的数据和真实数据并不匹配，决定系数和相关系数较低，可见SIR更多针对的是没有潜伏期的传染病，模型应用在COVID-2019测试效果并不是很理想，对于疫情前期的模拟与相应数据较为吻合，后期不太吻合。所以我们在最终的研究中引入了LSTM[10]长短时记忆神经网络。

4 LSTM神经网络的建立

对于本问题中的时间序列数据学习，目前为止比较成熟的学习模型有“递归神经网络（Recurrent Neural Network）[11]和LSTM神经网络[12]等”，LSTM神经网络基于RNN，修正它的自身网络结构，成功解决了梯度爆炸和梯度消失的问题。目前为止LSTM神经网络在“语音识别[7]、图像识别[8]等”很多前沿计算机辅助领域有了广泛的研究并且也取得了很大的成就。

图9 RNN结构图
上图9所示一条链表神经网络就表示了一个RNN。其中，Xt是输入，A为模型的处理加载部分，ht是输出，可以认为它是把相同一个神经网络的重复复制，每一时的神经网络都会传递信息给下一时。RNN在反向传播得到的误差的时候, 在每一步都会乘一个自己的参数，假设为W。假设这个W是一个小于1的数，比如0.8。这个0.8不断乘误差，误差到达初始时间点时变成一个无限逼近0的数，因此对于初始的时刻，误差就好像消失了。这时就发生了梯度消失或梯度弥散（Gradient Vanishing）。反之假设W是一个大于1的数，假设为1.2，最后变成了一个接近于无穷的数，这种情况我们叫做剃度爆炸。这就是RNN不能处理久远记忆的原因。正因为RNN这个缺点，所以为了解决问题3，我们使用了LSTM神经网络。

如上图10所示，LSTM也包括三层，输入层、隐藏层和输出层，三者之中隐藏层是重复的并且具有长远记忆功能的LSTM神经单元通过链表的关系连接起来的。每个单元结构都包含了四个部分，分别为input门it 、遗忘单元、记忆单元以及output门Ot。
长短期记忆神经网络第一步是确定要从单元状态中丢弃的信息，既判断可以通过cell state的信息，这个决定在Forget gate层使用Sigmoid函数控制，它会依据前一时间点的输出值ht−1和此刻时间点的输入值Xt得到一个范围是0-1的ft值，后续用来决定是否将上一时间点学会的信息Ct−1 完全通过或者取部分通过。如公式（26）。

下一步是确定要在本单元状态留下哪些新信息。这含有两个步骤：首先，一个称为input gate层的S形层决定我们将更换哪些数值。其次，应该使用tanh层创建一个新候选值的向量并将其添加到状态之中。在下一步，我们将两者结合起来以创建状态更新。现在我们把之前的cell state进行更新，再把老的cell state乘ft遗忘不需要的信息，再与上面提到的新候选值向量做加和，最后得到了候选值。
如公式（27）和公式（28）。

最后是判断模型的output，通过Sigmoid层来计算一个初始输出，再使用tanh将Ct值变换到-1和1间，和Sigmoid得到的输出做一次逐对相乘，从而得到模型最终的输出，如公式（29）和公式（30）所示。

5 参考

参考文献
[1] 陈健,于俊乐.基AHP与模糊综合评价的“四位一体”实践教学研究[J].学理论,2014(21):206-208.
[2] 任江萍,凌锋,孙继民,陈恩富.部分国家新型冠状病毒肺炎疫情流行趋势分析[J/OL].预防医学:1-7[2020-06-13].http://kns.cnki.net/kcms/detail/33.1400. R.20200514.1031.002. html.
[3] 王煜,俞双恩,丁继辉,李倩倩,张梦婷,刘子鑫,陈凯文.基于熵权TOPSIS模型评价不同施氮水平下水稻灌排模式[J/OL].排灌机械工程学报:1-6[2020-06-13]. http://kns.cnki. net/kcms/ detail/32.1814.TH.20200607.1405.012.html.
[4] Zeyer A, Doetsch P, Voigtlaender P, et al. A comprehensive study of deep bidirectional LSTM RNNS for acoustic modeling in speech recognition[C]// IEEE International Conference on Acoustics, Speech and Signal Processing.New Orleans, USA,2017: 2462-2466.
[5] ]Ensheng Dong,Hongru Du,Lauren Gardner. An interactive web-based dashboard to track COVID-19 in real time[J]. The Lancet Infectious Diseases,2020,20(5).
[6] 盛华雄,吴琳,肖长亮.新冠肺炎疫情传播建模分析与预测[J].系统仿真学报,2020,32(05):759-766.
[7] Song Eunwoo, Soong F K, Kang Hong-Goo. Effective spectral and excitation modeling techniques for LSTM-RNN-Based speech synthesis systems[J]. IEEE/ACM Trans on Audio, Speech and Language Processing, 2017, 25(11): 2152-2161.
[8] Gao Lianli, Guo Zhao, Zhang Hanwang, et al. Video captioning with attention-based LSTM and Semantic consistency[J]. IEEE Trans on Multimedia, 2017, 19(9): 2045-2055.
[9] 何春蓉,朱江.基于注意力机制的GRU神经网络安全态势预测方法[J/OL].系统工程电子技术:1-11[2020-06-13].http://kns.cnki.net/kcms/detail/11.2422.TN.20200609.1857. 012.html.
[10] Hochreiter S, Schmid Huber, Jürgen. Long Short-Term Memory [J]. Neural Computation, 1997, 9(8):1735-1780.
[11] Jordan M I. Serial order: a parallel distributed processing approach[J]. Advanced in Psychology, 1997, 121(4): 471-495.
[12] Zeyer A, Doetsch P, Voigtlaender P, et al. A comprehensive study of deep bidirectional LSTM RNNS for acoustic modeling in speech recognition[C]// IEEE International Conference on Acoustics, Speech and Signal Processing.New Orleans, USA,2017: 2462-2466.