基于组合模型的网络流量预测 兰州大学-张洋.

Presentation on theme: "基于组合模型的网络流量预测 兰州大学-张洋."— Presentation transcript:

1 基于组合模型的网络流量预测 兰州大学-张洋

2 CONTENTS 研究背景 1 实验结果及分析 4 研究方法 2 结论与建议 5 模型设计 3 兰州大学
RESEARCH BACKGROUNDS 实验结果及分析 4 experiment results and analysis 研究方法 2 RESEARCH FR METHODS 结论与建议 5 模型设计 CONCLUSION AND SUGGESTION 3 model design

3 1 研究背景 RESEARCH BACKGROUNDS 兰州大学
资料下载： PPT课件下载： 范文下载： 试卷下载： Word教程： Excel教程： 优秀PPT下载： PPT教程： 节日PPT模板： PPT素材下载： PPT背景图片： PPT图表下载： PPT模板下载： 行业PPT模板： 教案下载： PPT论坛： 1 研究背景 RESEARCH BACKGROUNDS

4 1 Internet的普及率越来越广，网民数量呈爆炸式的增长，这对计算机网络的安全及管理提出巨大挑战
研究背景 兰州大学 RESEARCH BACKGROUNDS Internet的普及率越来越广，网民数量呈爆炸式的增长，这对计算机网络的安全及管理提出巨大挑战 网络流量分析是对网络进行管理最为广泛和重要的手段之一 有效的网络流量预测可以对网络管理提供依据 2014年底，全球互联网用户总数到达29亿人，预计2017占全球人口总数50%。利用网络流量分析建立有效的拥塞机制，找出异常的数据包，避免网络阻塞已经成为网络管理必不可少的工作。而有效的网络流量预测可以对网络的异常或者攻击行为提供管理依据，对加强网络安全，带宽分配机制以及拥塞服务、制定网络计划、负载均衡都具有重要的意义。

5 通过分析时间序列历史数据发掘研究事物变化的规律性
1 研究背景 兰州大学 RESEARCH BACKGROUNDS 研究现状 网络具有尺度特性，Poisson不再合适。 随机性、突发性等非线性特点。 Poisson模型 线性模型 非线性模型 组合 模型 流量数据服从指数分布 网络流量数据拥有组合特性和复杂性 … ARMA BP RBF SVM 网络流量预测主要是对采集的连续网络数据通过建立某种数学模型来预测未来一段时间的网络流量。实际上网络流量往往是多特性的，而且是非平稳性的，但是上面介绍的模型大都是根据平稳的流量序列进行建模，所以用线性方法来预测非平稳特性的网络流量存在一定缺陷，导致它的预测精度也不高。因此，很多非线性的模型如人工神经网络被用于网络流量的预测。 通过分析时间序列历史数据发掘研究事物变化的规律性

6 兰州大学 2 研究方法 RESEARCH METHODS

7 2 如果时间序列yt满足： 则称时间序列为yt服从(p,q)阶自回归滑动平均混合模型。 或者记为φ(B)yt = θ(B)εt
研究方法 兰州大学 RESEARCH METHODS ARMA模型 由自回归模型与滑动平均模型为基础“混合”构成。 如果时间序列yt满足： 则称时间序列为yt服从(p,q)阶自回归滑动平均混合模型。 或者记为φ(B)yt = θ(B)εt 特殊情况：q=0，模型即为AR(p)，p=0，模型即为MA(q)。 ARMA模型是建立在马尔科夫随机过程基础上的。它既吸取了回归分析的优点，又发扬了移动平均的长处。它是根据数据序列的自相关函数和偏相关函数建立起线性数据间的定量模型，反映了数据现在活动和过去活动的本质联系。另外，由于ARMA模型对时间序列的噪声进行了分析处理，只剩下与历史无关的白噪声，所以它成为线性模型的最优预测方式之一。

8 2 研究方法 极限学习机 第一步：确定隐含层神经元个数，随机设定输入层与隐含层间的连接权值w和隐含层神经元的阈值b；
兰州大学 RESEARCH METHODS 极限学习机 是一种特殊类型的单隐层前馈神经网络，仅有一个隐结点层。 第一步：确定隐含层神经元个数，随机设定输入层与隐含层间的连接权值w和隐含层神经元的阈值b； 第二步：选择一个可以无限可微的函数作为隐含层神经元的激活函数，进而计算隐含层输出矩阵H； 第三步：计算输出层权值 传统的神经网络学习算法（如BP算法）需要人为设置大量的网络训练参数，并且很容易产生局部最优解。极限学习机只需要设置网络的隐层节点个数，在算法执行过程中不需要调整网络的输入权值以及隐元的偏置，并且产生唯一的最优解，因此具有学习速度快且泛化性能好的优点。但是传统的基于梯度的神经网络有参数太多难以确定，计算时间长、容易陷入局部最小化以及过度拟合等缺陷。 极限学习机的结构原理图

9 2 一种基于信号的时间、尺度的分析方法 它具有在时间和频率两个域中提取信号局部特征的能力，非常适合对非平稳的序列进行特征提取和分析
研究方法 兰州大学 RESEARCH METHODS 小波分解 一种基于信号的时间、尺度的分析方法 它具有在时间和频率两个域中提取信号局部特征的能力，非常适合对非平稳的序列进行特征提取和分析 连续小波变换 离散小波变换

10 Mallet算法 2 研究方法 小波分解 RESEARCH METHODS Mallat 分解算法示意图 兰州大学
Mallat和Meyer 在信号的多分辨分析基础上，提出了计算离散正交小波变换的快速算法，即Mallet算法[23]。经过该算法原始信号被分解成散细节序列和近似序列两部分，分别代表信号的不同特征。该算法的优点在于设计简单，运算快捷。 Mallat 分解算法示意图

11 兰州大学 3 模型设计 model design

12 + 3 分解层数选择 小波基选择 模型设计 小波分解及参数选择 Daubechies(dbN)小波 Symlet(symN)小波
兰州大学 model design 小波分解及参数选择 小波基选择 + 分解层数选择 Daubechies(dbN)小波 Symlet(symN)小波 Coiflet(coifN)小波 Biorthogonal(biorNr.Nd)小波 Daubechies(dbN)小波： Daubechies小波基函数有比较优良的正则性，也就是说它可以充作由稀疏基引入的光滑误差却不被发觉，使得原始的信号在加入光滑误差之后变得比较光滑。 Symlet(symN)小波：同Daubechies小波相比，symN在连续性、滤波器长度和支集长度方面是一致的，但是在对称性方面却更有优势。 Coiflet(coifN)小波： Coiflet小波也是由美国杜克大学的Ingrid Daubechies教授提出并设计的，一般简写为coifN，N取值1到5。 Biorthogonal(biorNr.Nd)小波： Biorthogonal小波是为了解决信号的对称性和信号重构的不相容性，也成为双正交小波，是使用对称的两个小波分别对信号进行分解和重构。 过多的层数反而影响信号特征的提取，所以分解层数一般根据具体的实验结果来确定。

13 3 1 4 2 5 3 6 模型设计 ARMA建模过程 model design 平稳性判定 模型识别 自相关系数 模型检验 偏自相关系数
兰州大学 model design ARMA建模过程 平稳性判定 1 4 模型识别 2 自相关系数 5 模型检验 偏自相关系数 3 6 模型预测

14 小波分解 平稳性判断 ARMA建模 ELM建模 重构 3 基于小波变换的组合模型设计与实现 模型设计 方法二 model design
兰州大学 model design 小波分解 平稳性判断 ARMA建模 ELM建模 重构 基于小波变换的组合模型设计与实现 方法二

15 experiment results and analysis
兰州大学 4 实验结果及分析 experiment results and analysis

16 experimental results and analysis
4 实验结果及分析 兰州大学 experimental results and analysis 性能评价指标 为了检验实验的预测精度，我们使用了三种不同的统计指标：平均绝对误差百分比（Mean Absolute Percentage Error），平均绝对误差（Mean Absolute Error）和均方根误差（Root Mean Square Error）。

17 experimental results and analysis
4 实验结果及分析 兰州大学 experimental results and analysis 实验数据 一共七天的每天08:00到24:00之间的192条数据进行实验，将前六天的数据作为训练数据，最后一天的数据作为测试数据.

18 experimental results and analysis
4 实验结果及分析 兰州大学 experimental results and analysis 随着分解层数的增加，细节部分中含有的高频成分越来越少，当分解到下一层时，就会有更高频的系数被滤除，则剩下的系数就更加明显的表现出网络流量的变化趋势，到分解到第六层的时候，曲线已经比较光滑了 UK数据经过小波变换之后得到的细节部分dx（x=1-6）和趋势部分ax（x=1-6）

19 experimental results and analysis
4 实验结果及分析 兰州大学 experimental results and analysis 由于ARMA(p,q)模型的平稳性由AR(p)模型的平稳性决定，因此通过自相关分析确定AR(p)模型的平稳性和p的值，然后通过偏自相关分析确定MA(q)模型的阶数q。如图6所示，序列d1的1～2阶都显著不为零，从第3阶开始显著地趋近于零，所以AR(p)模型的自相关p步拖尾，且p值为2。图7（b）,d1偏自相关函数在1～11阶比较显著不为零，12阶显著等于零，所以MA(q)模型的偏自相关11步截尾。根据ARMA对时间序列平稳性的判断标准，d1序列为ARMA(2,11)平稳序列。确定了d1序列使用的模型之后，对模型ARMA(2,11)进行参数估计和显著性检验，并利用赤池消息和施瓦茨准则（AIC和SC）选择最优的模型，并对模型的残差进行白噪声检查。同理，对其他序列进行分析，确定d1和d2为平稳序列，其余序列为非平稳序列。 UK数据经过小波变换之后得到的子序列的自相关和偏自相关函数

20 experimental results and analysis
4 实验结果及分析 兰州大学 experimental results and analysis 教育网数据 网通数据 UK MAPE MAE RMSE ARMA 0.0707 0.2323 7.4936 9.1710 0.1110 ELM 0.0734 0.1716 4.6137 5.7803 0.1496 SVM 0.1428 0.2151 5.2584 6.4781 0.1733 W-ARMA-ELM 0.0457 9.4825 0.1086 3.8807 5.6707 0.0685 不同预测模型分别对教育网数据和网通数据的预测汇总

21 兰州大学 5 结论 CONCLUSION

22 结论 5 结论 Conclusions CONCLUSION （1）小波变换
兰州大学 CONCLUSION 结论 Conclusions （1）小波变换 利用小波变换的比例收缩特性，将具有长程相关或者自相似等本质特性的网络流量数据进行分解和重构，变成多条短相关的子序列，然后使用自相关和偏自相关相结合的方式确定序列的平稳性。 （2）组合：ARMA+ELM 由于线性短相关模型ARMA对平稳序列有非常大预测优势，非线性ELM方法对非平稳数据预测效果更好

23 兰州大学 谢谢！ THANKS