联系人: 房经理

手机:

QQ:

地址:山东省福山西岭街88号

 当前位置:主页 > 网络 >
 

ENS 回声状态网络

 
     
发布时间:2019-11-03 新闻来源:淄博市秒速时时彩APP,秒速时时彩平台,秒速时时彩官网登录 有限公司 浏览次数:
 

  回声状态网络 Echo State Network 第八组 第一章:绪论 人工神经网络(Artificial Neural Network) 是由大量处理单元互联组成的非线性、自 适应信息处理系统 。 ? 人工神经网络按照性能分为两类: (1)静态神经网络 Static Neural Network (2)动态神经网络 Recurrent Neural Network 其中,动态神经网络又称为递归神经网络 ? ? ??? (1)静态神经网络 ? 静态神经网络由静态神经元组成 ,如下图: 其中,x1,x2,……,xn为神经元输入,ω1, ω2, …… ωn 为相应的权值,θi表示神经元的 闽值,σ(…)是神经元的响应函数 。 (1)静态神经网络 ? 上述静态神经网络的数学关系式满足: 常规的前向神经网络、RBF神经网络、 Chbeyshve神经网络等都属于静态神经网络。 (2)动态神经网络 ? 动态神经网络,又称递归神经网络,由动态神经元 组成,是针对动态系统辨识研究中发展出来的一种 神经网络。 结构如图所示: (2)动态神经网络 ? 输入输出关系满足: Hopfied网络、Elman网络、状态空间网络是应用较为广泛 的动态神经网络。网络内部存在带延迟因子的反馈连接, 可以更好的反映动态系统的特性和演化行为。 其中,回声状态网络(Echo state network ESN)是一种 新型的递归神经网络,回声状态网络在非线性系统辨识方 面较传统的递归神经网络由较大的改进。 (3)小结:两种网络对比 ? 静态网络数学表达式: ? 动态网络数学表达式: 对比表达式,我们可以看出:动态网络内部存在带 延迟因子的反馈连接,可以更好的反映动态系统的 特性和演化行为 。而静态网络没有这种能力。 第二章:回声状态网络 回声状态状态网络作为一种新型的递归神经 网络,无论是建模还是学习算法,都已经与 传统的递归神经网络差别很大。 ? ESN网络特点: (1) 它的核心结构是一个随机生成、且保 持不 变的储备池(Reservoir) (2)其输出权值是唯一需要调整的部分 (3)简单的线性回归就可完成网络的训练 ? (1)ESN 直观印象 (2)ESN的结构和运行机理 ? ESN网络的核心结构是一个“储备池”。所谓的储 备池就是随机生成的、大规模的、稀疏连接(SD通常 保持1%~5%连接 )的递归结构。 ? 注:SD是储备池中相互连接的神经元占总的神经元N的 百分比 (2)ESN的结构和运行机理 从结构上讲,ESN是一种特殊类型的递归神 经网络,其基本思想:使用大规模随机连接的 递归网络,取代经典神经网络中的中间层, 从而简化网络的训练过程。 ? 基于图2.1的结构,我们假设系统具有M个输 入单元,N个内部处理单元(Processing Elements,PE),即N个内部神经元,同时 具有L个输出单元。 ? (2)ESN的结构和运行机理 ? 那么输入单元u(n)内部状态x(n)以及 输出单元y(n)在n时刻值分别为: (2)ESN的结构和运行机理 ? 则回声状态网络状态方程为: (2)ESN的结构和运行机理 (3)ESN的储备池 ? ? 虽然有大量的研究是关于如 何获得与具体问题相关的“ 好”的储备池,但是并没有 形成一个系统的方法,多数 研究是从实验的角度进行的 。这也是目前ESN方法遇到 的最大的挑战。 ESN的最终性能是由储备池 的各个参数决定的,下面首 先简要介绍储备池的四个关 键参数。 (3)ESN的储备池重要参数简介 (3.1)储备池内部连接权谱半径SR (3.2)储备池规模N (3.3)储备池输入单元尺度IS (3.4)储备池稀疏程度SD (3.1)储备池重要参数——SD和N (3.2)储备池重要参数—SR (3.2)储备池重要参数——SR 我们确保上式子成立的目的:确保网络稳定。 因为只有上式子成立,才能确保网络状态和输入 对网络的影响在经过足够长的时间后会消失。 (3.3)储备池重要参数—IS (3.3)储备池重要参数—IS 关于IS的规则: 如果需要处理的任务的非线性越强,那么 输人单元尺度越大。 该原则的本质是通过输入单元尺度IS,将 输入变换到神经元激活函数funtion相应的范 围。 注:神经元激活函数的不同输入范围,其非 线)ESN的储备池的建立 (4)ESN的储备池的建立 (5)ESN网络的训练 ESN的训练过程就是根据给定的训练样本 确定系数输出连接权矩阵Wout的过程。 为了简单起见,这里假定Wback为0,同时 输入到输出以及输出到输出连接权也假定 为0,回声状态网络的训练过程可以分为 两个阶段:采样阶段和权值计算阶段。 (5)ESN网络的训练 采样阶段 (5)ESN网络的训练 权值计算阶段 (5)ESN网络的训练 权值计算阶段 第三章 回声状态网络的应用 回声状态网络主要应用领域: ? 时序预测(time series prediction) ? 逆模式(inverse modeling) ? 时序分类(on time clasification) ? 非线性控制(nonliner control) ? 图像处理(Image Processing ) 本章中我们着重介绍回声状态网络在图像边 缘检测中的应用。 基于ESN和统计向量的边缘检测 实验过程: 基于ESN和统计向量的边缘检测 基于ESN和统计向量的边缘检测 基于ESN和统计向量的边缘检测 实验结果 基于ESN和统计向量的边缘检测 基于ESN和统计向量的边缘检测 基于ESN和统计向量的边缘检测 本实验结论: 本章介绍了一种新的回声状态网络及其学习方 法,构造了描述边缘点的特征向量并将其作为 神经网络的输入,然后对神经网络进行训练, 回声状态网络的收敛速度明显优于BP神经网 络。将训练好的网络直接用于图像边缘检测。 该方法无需确定阈值,在特征的选取上充分考 虑了边缘和噪声的本质区别,具有优异的抗噪 性能。 第四章 ESO的推广和优化 从上面的介绍,我们可以看出,ESN有很大规 模的内部神经元。这使得: (1)ESN有良好的短期记忆能力,在混沌时间 序列的预测任务中比传统的神经网络优良700 倍。 (2)大规模的内部神经元也导致整个神经网 络的训练样本非常多,使得训练困难,预测阶 段因为网络巨大而引入不确定因素。 4.1 PSO算法 PSO(particle swarm optimization),是一 种新兴的随机全局优化技术,它在ANN的训 练中效果理想。 本章中,我们将PSO算法和ESN相结合,提出 了PSO-ESN结构,在此结构中,将传统的 ESN中通过求逆训练输出权重的方法替代为: 利用PSO算法优化输出网络权值。 实验证明:PSO-ESN能在训练样本比较少的 情况下提高预测精度。 4.2 PSO算法简介 4.2 PSO算法简介 4.2 PSO算法具体描述 4.2 PSO算法流程 ? ①给定训练数据集,并作规范化处理,初始化 ESN,获得状态矩阵B和教师信号T; ②根据输出权重Wout,初始化粒子的个数和位 置; ? ③根据粒子位置x和B、T,由BWout求出实际输 出层数据,并与T比较求出误差函数; ? 4.2 PSO算法流程 ? ④根据误差函数,评价每个粒子的使适应度 ;根据式子(5)和(6),更新每个粒子的 位置x和飞行速度V。检验速度是否越界,若 是,调整速度为算法规定的最大值; ⑤达到最大次数或误差达到设定值时候,学 习过程结束,否则返回③继续迭代。 ? 4.3 小结 本章提出了一种基于PSO的回声状态网训练 方法,与传统方法相比,PSO-ESN在训练阶 段和预测阶段的性能都有较大幅度的提升, 能够在非常少的样本情况下,对复杂的序列 获的非常理想的预测精度,说明该算法有较 大的发展前景。 ? 但是,PSO-ESN也有固有的缺陷:由于演化 粒子较多和迭代次数较多,使得模型训练时 间较长。因此,如何提高PSO-ESN的训练速 度是以后工作的重点。 ? 谢谢!

上一篇:木鱼网络-合肥网络公司-微信小程序开发公司-合
下一篇:警方提醒网络平台泄露用户信息可入罪!
   相关信息:
 
  网络的宣传标语   2019-11-01
  网络上身_电影_高清1080P在线观看平台   2019-10-27
  祈祷一切安好!一22岁鲁能女球迷网络发布遗书   2019-11-03
  网络_词语_成语_百度汉语   2019-10-23
  领先的IT技术网站   2019-10-23
  连云港网络公司网站建设网络推广微信营销找久   2019-11-01
  “网络文化与青年”论坛举办   2019-10-23
  网络上身-电影-高清完整版视频在线观看–爱奇艺   2019-10-27
  在线留言   2019-10-27
  马斯克的42000颗卫星开始排队上天美国人的天空通   2019-10-23
 
友情链接: 织梦CMS官方DedeCMS维基手册织梦技术论坛
网站地图