矿山信息.ppt

《矿山信息.ppt》由会员分享，可在线阅读，更多相关《矿山信息.ppt（53页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第四章 人工神经网络u4.1 人工神经网络基础知识u4.2 人工神经网络的训练和学习u4.3 BP人工神经网络矿山信息及其计算机应用n4.1 人工神经网络基础知识n4.1.1 人工神经网络的生物学基础人工神经网络(Artificial Neural Networks，简记ANN)，是受人的大脑皮层神经网络人的大脑皮层神经网络的启发构造而成的。科学研究发现，人的大脑中大约含有1011个生物神经元，它们通过1015个联结形成的系统。每个神经元神经元包括三个主要部分：细胞体细胞体、树突树突和轴突轴突。细胞体细胞体是神经元的主体，主要由细胞膜细胞膜、细胞质细胞质和细胞核细胞核组成，神经元中信息的产生和

2、整合是由细胞体完成的。树突树突是从细胞体向外延伸出的多支神经纤维神经纤维；神经元靠树突接受来自其他神经元的传来的信号，相当于细胞体的输入端输入端。轴突轴突是由细胞体伸出的最长的一条突起，称为轴突轴突，用来传出细胞体产生的电化学信号电化学信号，相当于细胞体的输出端输出端。神经元之间通过轴轴突末梢突末梢和树突树突进行通信连接，这种连接相当于神经元之间的输入/输出接口，称为突触突触。第四章 人工神经网络12/21/20222人工神经网络矿山信息及其计算机应用图1 典型的生物神经元12/21/20223人工神经网络矿山信息及其计算机应用髓鞘髓鞘(myelin sheath)是一层脂肪组织，包裹在神经元

3、的轴突外，具有绝缘作用并提高神经冲动神经冲动的传导速度。髓鞘功能退化的疾病会导致神经元向肌肉传导信息的速度减慢，并最终会失去对肌肉的控制。髓鞘上有郎飞氏结郎飞氏结，可使神经冲动跳跃传递跳跃传递，跳跃传导方式极大地加快了传导的速度。每个神经元具有独立的接受、处理和传递信号的能力。每个神经细胞所产生和传递的基本信号是：兴奋兴奋或抑制抑制。从信息的传递过程来看，一个神经细胞的树树突突，在突突触触处从其他神经细胞接受信号，然后传递到细细胞胞体体。如果在一个时间间隔内，细胞体接受到的信号量足够大，该细胞体将被激活，而产生一个脉脉冲冲信信号号，这个信号将沿着该神经细胞的轴突轴突传递出去，并通过它的突触突触

4、传递给其他神经细胞。多个神经元细胞通过突触的联接形成神经网络。12/21/20224人工神经网络矿山信息及其计算机应用人们通过对人脑神经系统的初步认识，构造出人人工工神神经经元元组成的人工神经网络，对人的智能进行近似仿真。人人工工神神经经元元的主要结构单元具有信信号号的的输输入入、信信号号的的综综合合处理处理和信号的输出信号的输出三大功能。输出信号的强度大小反映了该结构单元对相邻结构单元影响的强弱。人工神经元之间通过相互联接形成的网络，称为人人工工神神经经网络网络。神经元之间相互联接的方式称为联联接接模模式式，神经元相互之间的联接度联接度由联接权值联接权值体现。12/21/20225人工神经网

5、络矿山信息及其计算机应用n4.1.2 人工神经网络的基本结构与模型1.人工神经元模型图2 单个神经元模型图12/21/20226人工神经网络矿山信息及其计算机应用神经元神经元是人工神经网络的基本处理单元，一般是由一个多多输入输入/单输出单输出的非线性元件组成。神经元输出除了受输入信号的影响外，同时也受到神经元内部因素的影响。因此，在神经元的建模过程中，需要增加一个额外输入信号额外输入信号，称为偏差偏差(bias)或阀值阀值。一个具有r个输入分量的神经元，见图2。输入分量pj表示来自前级第j个神经元轴突轴突的信号。权值分量wj表示来自前级第j个神经元突触突触的传递信号的效率。激活函数f表示神经元

6、受到输入分量p1，p2，pr的共同作用达到阀值阀值时以何种方式输出。输入分量pj与权值分量wj相乘，以 的形式形成激活函数f的输入。激活函数的另一个输入是神经元的偏差b。神经元模型的输出可表示为：(4-1)12/21/20227人工神经网络矿山信息及其计算机应用2.激活函数激激活活函函数数是是一一个个神神经经元元及及网网络络的的核核心心。一个神经元在获得网络输入后，它应该给出适当的输出。按照生物神经元的特性，每个神经元有一个阀值，当该神经元所获得的输入信号的累积效果超过阀值时，它就处于激发态；否则，处于抑制态。为了使系统有更宽的适用面，希望人工神经元有一个更一般的变换函数，用来执行对该神经元所

7、获得的网络输入的变换，这就是激活函数。下面是几种常用的激活函数：(1)阀值型激活函数这种激活函数将任意的输入转化为0或1的输出，具有此函数的神经元的输入/输出关系为：(4-2)(2)线性激活函数线性激活函数的输出等于加权输入和加上偏差，此函数的输入/输出关系为：(4-3)式中，K为放大系数，c为位移，12/21/20228人工神经网络矿山信息及其计算机应用(3)S型激活函数S型激活函数常用：对数S型激活函数，双曲函数。对数S型激活函数的输入/输出关系为：(4-4)其中，a，b，d为常数。函数饱和值为0和1。双曲函数的输入/输出关系为：(4-5)函数的饱和值为-1和1。12/21/20229人工

8、神经网络矿山信息及其计算机应用3.联接模式在生物神经系统中，一个神经元接受的信号可以对其起“刺激”作用，也可能对其起“抑制”作用。在人工神经网络系统中，神经元是以加权和加权和的形式接受其他的神经元传来的信号的。用正号正号(“+”，可省略)表示传送来的信号起到刺激作用，引起神经细胞的兴奋，用于增加神经元的活跃度。用负号负号(“-”)表示传送来的信号起到抑制作用，抑制神经细胞的活性，用于降低神经元的活跃度。那么，如何组织网络中的神经元呢？研究发现，物体在人脑中的反映带有分块的特征，对一个物休的反映，大脑中存在相应的明、暗区域。这一点启发我们可以将这些神经元分成不同的块，这些不同的块可以放入不同的层

9、中。神经元之间有3种不同的互联模式：层内联接层内联接、循环联接循环联接、层间联接层间联接。12/21/202210人工神经网络矿山信息及其计算机应用(1)层内联接层内联接是本层内的神经元到本层内的神经元之间的联接，可用来加强神经元之间的联接或完成层内神经元之间的竞争：当需要组内神经元之间的联接加强时，这种联接的联接权取正值；在需要实现组内竞争时，这种联接权取负值。(2)循环联接循环联接在这里特指神经元自身到自身的联接，用于不断加强自身的激活值，使本次的输出与上次的输出相关，是一种特殊的反馈信号。(3)层间联接层间联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递。在复杂的网络中，

10、层间的信号传递既可以是向前的(前馈信号)，又可以是向后的(反馈信号)。12/21/202211人工神经网络矿山信息及其计算机应用4.网络的稳定性在反馈方式中，一个输入信号通过网络变换后，产生一个输出，然后该输出又被反馈到输入端，对应于这个“新的”输入，网络又产生一个新的输出，这个输出又被再次反馈到输入端如此重复下去。我们希望，随着这种循环的进行，在某一时刻，输入和输出不再发生变化，即网络稳定了下来，此时，网络的输出将是网络最为理想的输出。在这个过程中，信号被一遍一遍地修复和加强，最终得到适当的结果。5.网络的分层结构为了更好地组织网络中的神经元，我们把它们分布到网络的各层中。1)单级网(1)简

11、单的单级网 12/21/202212人工神经网络矿山信息及其计算机应用最简单的人工神经网络，如图3所示，网络接受输入向量X：X=(x1，x2，xn)(4-6)经过变换后输出向量Y：Y=(y1，y2，ym)(4-7)x1x2xn.w11w12w1mw21w22w2mwn1wnm.y1y2ymwn2输入层输入层输出层输出层图3 简单的单级网络12/21/202213人工神经网络矿山信息及其计算机应用图3表面上看是一个两层网，但是由于其中的输入层的神经元不对输入信号做任何处理，它们只起到对输入向量X的扇出作用。因此，在计算网络的层数时不将不将“输入层”作为一层。设输入层的第i个神经元到输出层的第j个

12、神经元的联接的强度为wij，即X的第i个分量以权重wij输入到输出层的第j个神经元中，取所有的权构成(输人)权矩阵W：W=(wij)(4-8)输出层的第j个神经元的网络输入网络输入记为netjnetj=x1w1j+x2w2j+xnwnj (4-9)其中，1jm，取NET=(net1，net2，netm)从而有NET=X.W，Y=f(NET)，式中，f为输出层神经元的激活函数。根据信息在网络中的流向，称W是从输入层到输出层的联接权矩阵联接权矩阵。12/21/202214人工神经网络矿山信息及其计算机应用(2)单级横向反馈网在简单的单级网的基础上，在其输出层加上侧向的联接就构成单级横向反馈网，如图

13、4。x1x2xn.w11w12w1mw21w22w2mwn1wnm.y1y2ymwn2输入层输入层输出层输出层V图4 单级横向反馈网12/21/202215人工神经网络矿山信息及其计算机应用设输出层的第i个神经元到输出层的第j个神经元的联接的强度为vij，即Y的第i个分量以权重vij输入到输出层的第j个神经元中。取所有的权构成侧向联接矩阵VV=(vij)(4-10)则NET(t+1)=X(t).W+Y(t).V (4-11)Y(t+1)=f(NET(t+1)(4-12)其中，当t=0时，Y(0)=0。在网络中，对一个输入，如果网络最终能给出一个不变的输出，也就是说，网络的运行达到稳定，称该网络

14、是稳定的；否则，称之为不稳定的。2)多级网研究表明，单级网的功能是有限的，适当地增加网络的层数可以提高网络的计算能力，这也部分地模拟了人脑的某些部位的分组结构特征。12/21/202216人工神经网络矿山信息及其计算机应用x1x2xn.w11w12w1mw21w22w2mwn1wnm.y1y2ymwn2输入层输入层隐含层隐含层.图5 多级前馈网输出层输出层12/21/202217人工神经网络矿山信息及其计算机应用(1)层次划分图5所示是一个典型的多级前馈网。在这种网络中，信号只允许从较低层流向较高层。用层号确定层的高低：层号较小者，层次较低；层号较大者，层次较高。输入层：与单级网络一样，该层只

15、起到输入信号的扇出作用，所以在计算网络的层数时不被记入。输入层负责接收来自网络外部的信息，常被记作第0层。第j层：第j-l层的直接后继层，它直接接受第j-l层的输出。输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。输出层的层号为该网络的层数，一个输出层号为n的网络称为n层网络。隐藏层：除输入层和输出层以外的其他各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号。12/21/202218人工神经网络矿山信息及其计算机应用(2)非线性激活函数非线性激活函数在多级网络中起着非常重要的作用，它除了能够根据需要对网络中各神经元的输出进行变换外，还使得多级网络的功能

16、超过单级网络。增加网络的层数在于提高网络的计算能力。但是，如果使用线性激活函数，则多级网的功能不会超过单级网的功能。事实上，设有一个n层网络，X是其输入向量；W(1)，W(2)，.，W(n)是各级联接矩阵；NET1，NET2，.，NETn分别是各级的网络输入向量；f1，f2，.，fn为各级神经元的激活函数，假定它们都是线性的。fi(NETi)=KiNETi+Ai 1in (4-13)其中，Ki、Ai都是常数向量。网络的输出向量为:Y=fn(.f3(f2(f1(NET1).)12/21/202219人工神经网络矿山信息及其计算机应用=fn(.f3(f2(K1XW(1)+A1).)=fn(.f3(

17、K2(K1XW(1)+A1)W(2)+A2).)=fn(.K3(K2(K1XW(1)+A1)W(2)+A2)W(3)+A3.).=KXW+A 其中其中:K=Kn.K3K2K1W=W(1)W(2)W(3).W(n)A=Kn.K2K1A1W(2)W(3).W(n)+Kn.K3A2W(3).W(n)+.+Kn.Ki+1AiW(i+1).W(n)+.+KnAn-1W(n)+An12/21/202220人工神经网络矿山信息及其计算机应用上述推导可知，这个多级网相当于一个激活函数为f(NET)=K.NET+A=K.X.W+A，联接矩阵为W的简单单级网络。显然，如果网络使用的是非线性激活函数，则不会出现上述

18、问题。3)循环网如果将输出信号反馈到输入端就可构成一个多层的循环网络，如图6所示。在非循环网络非循环网络中，“输出”仅仅由当前的“输入”和“权矩阵”决定。在循环网循环网中，它需要将“输出”送回到“输入端”，从而使当前的输出受到上次输出的影响，如此形成一个迭代。也就是说，在这个迭代过程中，输入的原始信号被逐步地“加强”、被“修复”。这种性能，在一定的程度上反映了人的大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的。12/21/202221人工神经网络矿山信息及其计算机应用当然，这种反馈信号会引起网络输出的不断变化。如果这种变化逐渐减小，并且最后能消失。当变化最后消失时，我们称网络达到了平衡

19、状态。如果这种变化不能消失，则称该网络是不稳定的。图6 多层循环网12/21/202222人工神经网络矿山信息及其计算机应用n4.2 人工神人工神经经网网络络的的训练训练和学和学习习人工神经网络最具有吸引力的特点是它的学习能力，人工神经网络的学习过程就是对它的训练过程。训练与学习是一个事情的两个方面，比如让猴子拉车，对猴子来说是个学习的过程，对耍猴人来讲是训练动物的过程。训练与学习都是指寻找一个合适合适权值权值矩矩阵阵的过程。训练分有导师训练和无导师训练。有导师训练为：由N个训练样本对 构成的训练样本集，训练好的权值矩阵W也就固定下来。无导师训练为：训练样本集中只有输入信号X，没有目标信号Y，

20、网络可以自动将输入样本集组织或分类。学习规则就是修正神经元之间权值系数的算法，使其获得知识结构，适用周围环境的变换。常用的学习规则：乘积学习规则，差值学习规则，竞争学习规则。12/21/202223人工神经网络矿山信息及其计算机应用n4.2.1 乘乘积积学学习规则习规则考虑一个单层线性神经网络(图7)，其输入信号矢量是n维的：X=(x1,x2,xn)(4-14)则输出向量为m维：Y=(y1,y2,ym)(4-15)(i=1,2,n j=1,2,m)(4-16)或写成Y=XW (4-17)当训练样本对给定时，如何确定权值矩阵W，这种学习也称为权值权值矩矩阵设计阵设计。1.给定一个训练样本对设给定

21、一个训练样本对(X,Y)，要求计算W权值矩阵，以下是计算步骤：12/21/202224人工神经网络矿山信息及其计算机应用(1)将X施密特正交化，即XTX=1(2)利用公式Y=XW，计算出W=XTY。权值矩阵W按元素对应写出，有 ，这就是所谓乘乘积积学学习规则习规则。2.给定多个训练样本对x1x2xn.w11w12w1mw21w22w2mwn1wnm.y1y2ymwn2输入层输入层输出层输出层图7 单层线性神经网络12/21/202225人工神经网络矿山信息及其计算机应用前面是用一个训练样本对来确定权矩阵W，如果有N个训练样本对 ，是否也可以确定一个权值矩阵W，使它满足 (k=1,2,N)(4-

22、18)假设输入的矢量X(i)各个彼此正交，即：(4-19a)则(4-19b)因此(4-20)12/21/202226人工神经网络矿山信息及其计算机应用在以上输入的向量X(i)彼此正交是关键条件，如果输入的向量彼此线性独立，但非正交，可采用施密特正交化，构造出正交输入的向量X(i)，然后使用公式计算权值矩阵W。n4.2.2 关联学习关联学习1.学习规则和公式1949年DOHebb提出：“当两个神经元细胞都处于激发状态时，连接两个神经元细胞的突触将得到加强。”认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。它能用来解释生物产生“习惯”以及重复训练能获得知识

23、等现象。另一种描叙是：联接权值的变化与所联接的两个神经元的状态值成正比。用公式表示就是：wij(t)=ijai(t)aj(t)(4-21)式中，ai(t)、aj(t)分别为t时刻i，j神经元的状态值；ij为学习速率。12/21/202227人工神经网络矿山信息及其计算机应用联接权的变化为：wij(t)=wij(t+1)-wij(t)(4-22)以上学习方法因为只与两个神经元有关，所以称为“关关联联学学习习”，也称为Hebb学学习规则习规则。图8 两个神经元的连接piairipjajrj12/21/202228人工神经网络矿山信息及其计算机应用2.与乘积学习规则的区别(1)Hebb学习规则：状态

24、值相乘。乘积学习规则：输入信号值与输出信号值相乘。(2)Hebb学习规则：得到权值改变量。乘积学习规则：得到权值本身。(3)Hebb学习规则：是一种无导师学习规则，无须知道目标输出信号，用的是状态值。乘积学习规则：是一种有导师学习规则，必须知道目标输出信号。3.Hebb学习规则的局限性与改进Hebb学习规则成功应用例可举出很多，但也有很大局限性，有些应用中全然达不到训练目的。故有多种改进型，仅举两种如下：12/21/202229人工神经网络矿山信息及其计算机应用(1)使用输出信号wij(t+1)=wij(t)+ijri(t)rj(t)(4-23)式中，ri(t)为t时刻i神经元的输出信号，rj

25、(t)为t时刻j神经元的输出信号。理由是：具有线性激活函数的神经元表达能力有限，要扩展神经网络性能必经采用非线性激活函数的神经元，但非线性激活函数的神经元的状态值与输出值相差很远，用ai(t),aj(t)不能很好表示神经元i、j的实际行为，故用ri(t)，rj(t)代替ai(t),aj(t)。注意：ri(t)并非目标输出，所以(4-23)仍为无导师学习法。(2)差分关联学习算法wij(t+1)=wij(t)+ijri(t)-ri(t-1)rj(t)-rj(t-1)(4-24)涉及到前两个相邻时刻神经元输出之差。12/21/202230人工神经网络矿山信息及其计算机应用n4.2.2 竞争学习竞争

26、学习输出神经元之间有侧向抑制性连接，较强单元获胜并抑制其他单元，独处激活状态。wkjkpj12/21/202231人工神经网络矿山信息及其计算机应用n4.3 BP人工神经网络人工神经网络BP算法是非循环多级网络的训练算法。在众多的神经网络模型中，目前广泛采用多层前馈神经网络模型(Back-Propagation)，简称BP神经网络。BP神经网络由输入层、输出层和一个或多个隐含层组成。每层由若干个神经元组成，层内的神经元互相独立，不同层次的神经元用权值单向连接。当信号输入时，首先传到隐含层的神经元，经过隐含层神经元激活函数作用后，再把隐含层神经元的输出信号传送到输出层神经元，经过处理后，给出输出

27、结果。BP神经元的模型如图9所示。n4.3.1 BP算法算法BP神经网络运行通常分两个阶段。前一阶段称为训练阶段，网络依据输入输出样本对调整内部关系，使之适应特定映射关系的需要；后一阶段称为运用阶段，网络可根据其输入，按特定的关系做出响应。12/21/202232人工神经网络矿山信息及其计算机应用图中 为第j个神经元输入信号，bj为第j个神经元内部的偏差，f为第j个神经元的激活函数，aj为第j个神经元的输出信号，图9 BP神经元模型12/21/202233人工神经网络矿山信息及其计算机应用BP神经网络采用误差反馈训练算法误差反馈训练算法，在这种网络中训练过程由正向传播过程正向传播过程和反向传播

28、反向传播过程组成。在正向传播过程中，输入信号从输入层到隐含层逐层处理，并传向输出层。每层神经元的状态只影响下一层神经元的状态。如果输出层不能得到期望的输出，则转向反向传播，将输出信号的误差按原来的连接通路返回，通过修改各层神经元的权值矩阵，网络权值和偏差的修正值要沿着误差函数误差函数下降最快的方向(即负负梯度梯度方向)，使得误差信号最小，得到合适的网络权值后，就可以对新样本进行预测。以二层BP网络为例，如图10所示。输入层节点输出值为xi(i=1,2,n)，隐含层节点输出值为yj(j=1,2,m)，输出层节点输出值为zl(l=1,2,s)，输入层节点与隐含层节点间的网络权值为wji，隐含层节点

29、与输出层节点间的网络权值为vlj，输出层节点的期望值为tl。12/21/202234人工神经网络矿山信息及其计算机应用(1)隐含层节点的输出值yj(j=1,2,m)为：(4-25)(2)输出层节点的输出值zl(l=1,2,s)为：(4-26)图10 BP神经网络训练过程原理图12/21/202235人工神经网络矿山信息及其计算机应用(3)输出层节点的误差为(4-27)(4)输出层网络的权值vlj的修正(4-28)式中，是当前k时刻的的权值，由于权值的修正值 与误差函数沿梯度下降方向一致，则有(4-29)其中，a是学习率，E是多个zk(k=1,2,s)的函数，各个zk相互独立，但是只有一个zl与

30、vlj有关，因此：ljljljvkvkvD+=+)()1(1111112)(21)2(21)2(21-=-=-=slmjlnijijiljlslmjljljlslllbbxwfvftbyvftztEljljvEv-=Da)(kvlj12/21/202236人工神经网络矿山信息及其计算机应用(4-30)而且(4-31)(4-32)则(4-33)因而(4-44)ljllljkskkljvzzEvzzEvE=112/21/202237人工神经网络矿山信息及其计算机应用(5)隐含层网络权值wji的修正(4-35)由于权值的修正值与误差函数沿梯度下降方向一致，则有(4-35)其中(4-36)a 是学习率

31、，E是多个zk(k=1,2,s)的函数；对于某一个wji，只对应一个yj，但是与所有的zk(k=1,2,s)有关，因此(4-37)而且(4-38)12/21/202238人工神经网络矿山信息及其计算机应用(4-39)则(4-40)因而(4-41)(6)输出层节点偏差bl的修正偏差是变化值，也需要进行修正，原理同网络权值修正一样。输出层节点偏差bl修正为(4-42)其中 ，而 12/21/202239人工神经网络矿山信息及其计算机应用因此(4-43)(4-44)(7)隐含层节点偏差bj的修正隐含层节点偏差bj修正为(4-45)其中(4-46)E是多个zk(k=1,2,s)函数；对于某一个bj，只

32、对应一个 yj)1()(-=llllllnetfbnetnetzlbz12/21/202240人工神经网络矿山信息及其计算机应用但是与所有神经元的输出zk(k=1,2,s)有关，则 而因此(4-47)(4-48)jjjbkbkbD+=+)()1(12/21/202241人工神经网络矿山信息及其计算机应用n4.3.2 Matlab的神经网络的程序算法的神经网络的程序算法在网络训练过程中，有两种训练模式：递增训练模式、批处理训练模式。递增训练模式递增训练模式，就是每增加一个输入样本，重新计算一次误差梯度并调整网络权值；批处理训练模式批处理训练模式，就是利用所有样本的一次性输入计算误差梯度，然后调整

33、权值和偏差。由于批处理训练模式排除了样本输入顺序对训练结果的影响。因而，在实际应用中多采用批处理训练模式。根据程序所采用的算法，有不同的批处理训练函数。常用的算法有：梯度下降法、动量梯度下降法、有自适应lr的梯度下降法、弹性梯度下降法、拟牛顿算法，所使用的训练函数分别为：traingd函数、traingdm函数、traingda函数、trainrp函数、trainbfg函数。BP神经网络的程序步骤如下：(1)确定输入样本数据矩阵PRS，其中R表示样本序列号样本序列号，S表示样本指标的序列号样本指标的序列号。同时，利用minmax函数确定转置矩阵P 行的范围，得到矩阵QS2；12/21/2022

34、42人工神经网络矿山信息及其计算机应用(2)确定理想输出矩阵TRL，其中L表示输出层节点数；(3)确定各层的激活函数、网络训练函数，并利用newff函数构建网络；(4)用小的随机数对每层的权值和偏差进行初始化，并设定最小期望误差、最大循环次数、修正权值的学习速率lr(一般取0.010.7)等；(5)利用训练函数(如traingd函数、traingdm函数等)训练神经网络；(6)利用sim函数函数对训练后的网络进行验证预测。n4.3.3 网络权值初始值的选取网络权值初始值的选取初始网络权值和偏差通常选取接近于零的随机数，太大的值可能使得系统过早的陷入饱和区(例如，对于对数S型激活函数f(x)，当

35、|x|较大时，f(x)0)，不利于网络进一步学习。12/21/202243人工神经网络矿山信息及其计算机应用n4.3.4 学习速率学习速率a的选取的选取在梯度下降法中，如果学习速率a太小，则收敛速率很慢；如果太大又有可能引起迭代解的剧烈震荡，学习速率a的选择并非容易的事情。自适应规则是常用的，在每一步权值迭代更新之后，给当前的学习速率a一个改变量DaDE是误差函数的改变量；m，n是适当的正数。n4.3.5 深井动压巷道围岩移近量的网络模型构建和应用深井动压巷道围岩移近量的网络模型构建和应用利用淮南矿业集团潘集矿区的深井动压巷道实测数据，选取18条样本巷道进行训练，直到误差小于0.01为止，取3

36、条深井动压巷道作为网络模型的检验样本。网络训练样本如表4-1所示。12/21/202244人工神经网络矿山信息及其计算机应用序号序号采深采深(m)应应力集中力集中系数系数巷道巷道宽宽度度(m)巷道高度巷道高度(m)侧压侧压系数系数岩体岩体强强度度(MPa)顶顶底移近量底移近量/两帮移近量两帮移近量(cm)16061.12 3.50 3.00 0.58 34.00 26.3/35.727491.82 3.50 3.50 1.24 43.00 69.2/132.938942.08 3.50 4.00 1.52 56.00 126.0/235.046092.24 4.50 3.00 0.87 61.

37、00 65.6/99.857682.11 4.50 3.50 1.59 37.00 149.4/237.569011.51 4.50 4.00 0.91 47.00 72.3/128.277841.48 5.50 3.00 0.73 46.00 62.7/89.988491.68 5.50 3.50 1.34 53.00 103.4/156.496271.96 5.50 4.00 1.67 31.00 125.4/189.2108561.86 3.50 3.00 1.04 47.00 75.5/138.0116312.34 3.50 3.50 0.94 58.00 63.9/115.91278

38、71.24 3.50 4.00 1.15 35.00 45.1/89.6137611.50 4.50 3.00 1.76 61.00 80.6/125.8148752.13 4.50 3.50 0.69 32.00 101.2/195.2156452.39 4.50 4.00 1.38 49.00 110.2/193.7168961.56 5.50 3.00 1.49 38.00 121.7/180.9176581.72 5.50 3.50 1.82 41.00 104.2/155.3187932.14 5.50 4.00 0.85 50.00 102.7/170.4表4-1 网络训练样本12

39、/21/202245人工神经网络矿山信息及其计算机应用(1)输入层选取采深、采动应力集中系数、巷道宽度、巷道高度、侧压系数及岩体强度作为输入层节点，因此，输入层节点数为6。考虑到样本各指标的单位不同，为了消除量纲的影响，利用(4-49)公式对样本的各个指标进行标准化处理。(4-49)式中：表示第j个指标实测值中最小值；表示第j个指标实测值中最大值。(2)输出层选择顶底板移近量Kd和两帮移近量Kw作为输出层节点，输出层节点数为2。输出层节点的神经元激活函数选择线性函数。12/21/202246人工神经网络矿山信息及其计算机应用(3)隐含层网络训练精度的提高，可以通过采用一个隐含层，而增加隐含层节

40、点数的方法来获得。在结构实现上，要比增加更多的隐含层简单。因此，网络模型采用一个隐含层的二层BP网络结构。究竟隐含层节点数隐含层节点数取多少比较合适，目前在理论上还没有明确的推论。但确定隐含层节点的一个常用方法是试凑法试凑法，先设置隐含层较少的节点数训练网络，然后逐渐增加隐含层的节点数，用同一样本进行训练，从中确定网络误差最小时对应的隐含层节点数。隐含层节点数的初值可采用如下公式：(4-50)式中：M隐含层节点数；N输入层节点数；L输出层节点数。根据本网络模型的输入层节点数和输出层节点数，采用试凑法确定隐含层节点数为4个，隐含层激活函数用S型激活函数。12/21/202247人工神经网络矿山信

41、息及其计算机应用(4)Matlab神经网络程序/样本巷道的指标分别为：采深(m)，采动应力集中系数，巷道宽度(m)，巷道高度(m)、侧压系数，岩体强度(MPa)；输入信号归一化处理后的输入矩阵P；理想输出矩阵Tnet=newff(minmax(P),4,2,tansig,logsig,traingd);；newff创建一个BP神经网络。；minmax(P)表示由每行输入元素的最大值和最小值组成的矩阵。；4,2 表示隐含层，输出层的节点数分别为4，2。；隐含层采用tansig为双曲S型激活函数。；输出层采用logsig为S型对数激活函数。；traingd表示网络的训练函数为梯度下降BP算法函数。

42、12/21/202248人工神经网络矿山信息及其计算机应用net.trainParam.epochs=300；网络训练次数net.trainParam.goal=1e-5；网络训练的最小期望误差net.trainParam.lr=0.05；训练时采用的学习率net，tr，Y，E=train(net，P，T);；net函数返回值，训练后的神经网络。；tr训练记录返回值(包括步数，性能等)。；Y输出信号返回值。；E神经网络误差返回值。A=sim(net，Q);；输入检验神经网络的样本矩阵Q，A为网络输出值。12/21/202249人工神经网络矿山信息及其计算机应用经过程序计算后，网络预测结果如表4

43、-2所示。通过实测值与预测值的对比可以看出，运用该网络模型进行预测具有很高的精度。采深采深(m)应应力集中力集中系数系数巷道巷道宽宽度度(m)巷道高度巷道高度(m)侧压侧压系数系数岩体岩体强强度度(MPa)顶顶底移近量底移近量/两帮移近量两帮移近量(cm)实测值实测值预测值预测值686.001.504.004.000.7845.0046.42/77.3941.25/74.43812.001.784.503.500.6753.0069.91/109.3864.32/115.27768.001.413.503.500.9247.0044.20/77.8247.78/71.58表4-2 网络预测结果

44、12/21/202250人工神经网络矿山信息及其计算机应用n附录附录I：施密特正交化方法对于线性无关的向量组 ，令(a)将 单位化，得标准正交向量组 ：(b)(c)12/21/202251人工神经网络矿山信息及其计算机应用n附录附录II:举几个例子：1.由令人讨厌的苍蝇，仿制成功一种十分奇特的小型气体分析仪。已经被安装在宇宙飞船的座舱里，用来检测舱内气体的成分。2.从萤火虫到人工冷光。3.水母的顺风耳，仿照水母耳朵的结构和功能，设计了水母耳风暴预测仪，能提前15小时对风暴作出预报，对航海和渔业的安全都有重要意义。4.嗅觉灵敏的龙虾为人们制造气味探测仪提供了思路。12/21/202252人工神经

45、网络矿山信息及其计算机应用5.人们根据蛙眼的视觉原理，已研制成功一种电子蛙眼。这种电子蛙眼能像真的蛙眼那样，准确无误地识别出特定形状的物体。把电子蛙眼装入雷达系统后，雷达抗干扰能力大大提高。这种雷达系统能快速而准确地识别出特定形状的飞机、舰船和导弹等。特别是能够区别真假导弹，防止以假乱真。电子蛙眼还广泛应用在机场及交通要道上。在机场，它能监视飞机的起飞与降落，若发现飞机将要发生碰撞，能及时发出警报。在交通要道，它能指挥车辆的行驶，防止车辆碰撞事故的发生。6.根据蝙蝠超声定位器的原理，人们还仿制了盲人用的“探路仪”。这种探路仪内装一个超声波发射器，盲人带着它可以发现电杆、台阶、桥上的人等。如今，有类似作用的“超声眼镜”也已制成。12/21/202253人工神经网络