资源描述
数据挖掘与统计决策方法数据挖掘与统计决策方法 神经网络神经网络 教教 师：师：廖廖 芹芹 数据挖掘与统计决策方法引入问题：引入问题：1 1）如果有如果有6060个因素影响银行贷款，要判别是否给企业贷款，个因素影响银行贷款，要判别是否给企业贷款，如何建立贷款如何建立贷款判别判别模型？即模型？即如何求非线性关如何求非线性关系系f1：Y1=f1（X X1 1,X,X2 2,X,X6060),Y1),Y1取值取值1(1(贷款贷款)，0(0(不贷款）不贷款）2 2)如何建立由如何建立由“病人数、医生数、工作人员数、门诊所数、死病人数、医生数、工作人员数、门诊所数、死亡率亡率”对城市医疗能力的对城市医疗能力的非线性综合评价非线性综合评价模型？即如何求模型？即如何求f2f2：Y2=f2(X X1 1,X,X2 2,X,X5 5),Y2),Y2、XiXi取值取值 V,g,a,b?V,g,a,b?3)3)如何建立食品（交通、生产、投资）安全风险的如何建立食品（交通、生产、投资）安全风险的预测预测模型？模型？思路：思路：1 1）对收集数据进行处理分析，提取有代表性样本；）对收集数据进行处理分析，提取有代表性样本；2 2）构建输入变量与输出变量之间的函数关系）构建输入变量与输出变量之间的函数关系F1F1，F2F2，使，使F1F1，F2F2逼近实际关系逼近实际关系f1,f2f1,f2，并替代，并替代f1,f2f1,f2应用。应用。3 3）可以采用样本学习的神经网络方法建立这些模型。）可以采用样本学习的神经网络方法建立这些模型。四、数据挖掘方法四、数据挖掘方法神经网络神经网络引入问题：思路：1）对收集数据进行处理分析，提取有代表性样本主要问题：主要问题：1 1）什么是神经网络？）什么是神经网络？2 2）如何建立神经网络？）如何建立神经网络？3 3）如何应用神经网络？）如何应用神经网络？(人工人工)神经网络（神经网络（ARTIFICIAL NEURAL NETWORK ARTIFICIAL NEURAL NETWORK 简记简记ANN)ANN)：一种模仿大脑神经网络结构和功能而建立的一种模仿大脑神经网络结构和功能而建立的信息处理系统。信息处理系统。表示神经网络的输入与输出变量之间关系的模型，称为表示神经网络的输入与输出变量之间关系的模型，称为神经神经网络模型。网络模型。两层神经两层神经网络网络三层神经三层神经网络网络四、数据挖掘方法四、数据挖掘方法神经网络神经网络主要问题：(人工)神经网络（ARTIFICIAL NEUR思路：思路：通过下面已证明定理构建神经网络模型通过下面已证明定理构建神经网络模型通过线性组合的映射、再线性组合形式构建函数构建函数逼近实际函数关键问题：关键问题：如何求构建模型的参数如何求构建模型的参数Wij,Wij,i,Ci?i,Ci?思路：思路：通过样本学习不断获取信息修正模型参数，以求出最优的一组模型参数。通过样本学习不断获取信息修正模型参数，以求出最优的一组模型参数。步骤：步骤：1 1）首先随机生成模型参数，）首先随机生成模型参数，2)2)代入样本输入代入样本输入XiXi到模型；到模型；3 3）用参数与）用参数与XiXi的值计算模型输出的值计算模型输出O O；4 4）计算模型输出）计算模型输出O O与样本输出与样本输出Y Y偏差偏差D=D=O-YO-Y,5)5)以偏差以偏差D D修正模型参数，修正模型参数，6 6）重复）重复2 2）55）步骤，使模型输出）步骤，使模型输出O O与样本输出与样本输出Y Y偏差偏差D D最小。最小。四、数据挖掘方法四、数据挖掘方法神经网络神经网络思路：通过下面已证明定理构建神经网络模型通过线性组合的映射、常用的映射函数为：常用的映射函数为：四、数据挖掘方法四、数据挖掘方法神经网络神经网络常用的映射函数为：四、数据挖掘方法神经网络P105四、数据挖掘方法四、数据挖掘方法神经网络神经网络P105四、数据挖掘方法神经网络补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络补充四、数据挖掘方法神经网络补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络补充四、数据挖掘方法神经网络P104四、数据挖掘方法四、数据挖掘方法神经网络神经网络P104四、数据挖掘方法神经网络感知机建立过程：感知机建立过程：P106四、数据挖掘方法四、数据挖掘方法神经网络神经网络 Y00感知机建立过程：P106四、数据挖掘方法神经网络 P106四、数据挖掘方法四、数据挖掘方法神经网络神经网络0011P106四、数据挖掘方法神经网络0011P106四、数据挖掘方法四、数据挖掘方法神经网络神经网络P106四、数据挖掘方法神经网络P106四、数据挖掘方法四、数据挖掘方法神经网络神经网络P106四、数据挖掘方法神经网络补充补充（总结）总结）四、数据挖掘方法四、数据挖掘方法神经网络神经网络补充（总结）四、数据挖掘方法神经网络补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络补充四、数据挖掘方法神经网络补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络补充四、数据挖掘方法神经网络P106四、数据挖掘方法四、数据挖掘方法神经网络神经网络 Y以以Y=1记记A类，以类，以Y=0记记B类类P106四、数据挖掘方法神经网络 Y以Y=如果如果改变改变1 1号样本，即号样本，即 x1=1,x2=1,y=1，改为，改为 x1=1,x2=1,y=0，上述修正的参数为上述修正的参数为 O1=f(W11*X1+W12*X2)=f(0*1+0*1)=f(0)=0,误差为误差为 D=O1-y1=0-0=0修正量修正量:W11(1)=d*X1=0,W12(1)=d*X2=0,修正参数：修正参数：W11(1)=W11(0)+W11(1)=0+0=0,W12(1)=W12(0)+W12(1)=0+0=0再学习再学习2号样本号样本(x1=1,x2=0,y=1):O2=f(0*1+0*0)=0,Y2=1,误差为误差为D=Y2-O2=1-0=1，W11(2)=d*X1=1,W12(2)=d*X2=0,W11(1)=1，W12(1)=0检验检验3号样本号样本(x1=0,x2=1,y=1):O3=f(1*0+0*1)=0,Y3=1,误差为误差为D=Y3-O3=1-0=1检验检验4号样本号样本(x1=1,x2=1,y=1):O4=f(0*0+0*0)=0,Y4=0,误差为误差为D=Y4-O4=0-0=0此时，误差已增大，即感知机模型对于此时，误差已增大，即感知机模型对于非非线性样本识别能力很弱。线性样本识别能力很弱。问题：问题：对于非线性样本，应该如何设计网络的结构、映射和输入、输出？对于非线性样本，应该如何设计网络的结构、映射和输入、输出？四、数据挖掘方法四、数据挖掘方法神经网络神经网络 Y 0如果改变1号样本，即问题：对于非线性样本，应该如何设计网络的P107四、数据挖掘方法四、数据挖掘方法神经网络神经网络P107四、数据挖掘方法神经网络P107四、数据挖掘方法四、数据挖掘方法神经网络神经网络P107四、数据挖掘方法神经网络P108四、数据挖掘方法四、数据挖掘方法神经网络神经网络隐隐修正公式推导见下面修正公式推导见下面P108四、数据挖掘方法神经网络隐修正公式推导见下面常用的输入输出定义常用的输入输出定义1 1、输入层变量定义：、输入层变量定义：1 1）定义为自变量个数）定义为自变量个数x1,x2,xnx1,x2,xn 2 2）x1,x2,xn x1,x2,xn已类型一致、无量纲；已类型一致、无量纲；3 3）输入节点数一般等于变量数。）输入节点数一般等于变量数。2 2、隐层节点变量数、隐层节点变量数L L定义：定义：1 1）一般定义：）一般定义：输入节点变量数输入节点变量数LL输出节点变量数；输出节点变量数；2 2）优化定义）优化定义 （1 1）对于可能的隐节点数）对于可能的隐节点数L1,L2,Lm,L1,L2,Lm,指定学习次数指定学习次数，对相，对相同的输入输出，比较不同隐节点数下的同的输入输出，比较不同隐节点数下的网络误差网络误差，误差小的对应隐，误差小的对应隐节点数最优。节点数最优。（2 2）对于可能的隐节点数）对于可能的隐节点数L1,L2,Lm,L1,L2,Lm,指定网络误差指定网络误差，对相，对相同的输入输出，比较不同隐节点数下的同的输入输出，比较不同隐节点数下的学习次数学习次数，达到误差的最少，达到误差的最少学习次数学习次数的隐节点数最优。的隐节点数最优。四、数据挖掘方法四、数据挖掘方法神经网络神经网络常用的输入输出定义1、输入层变量定义：2、隐层节点变量数L定3 3、输出节点变量定义：、输出节点变量定义：1)1)由于网络输出（计算输出）受映射函数值域影响，所以样本输出的定义由于网络输出（计算输出）受映射函数值域影响，所以样本输出的定义域需要转换为与网络输出定义域一致。域需要转换为与网络输出定义域一致。2 2）样本输出可以定义为）样本输出可以定义为1 1个或多个输出个或多个输出 3 3）对应样本的一个或多个输出，网络输出也有一个或多个输出定义。）对应样本的一个或多个输出，网络输出也有一个或多个输出定义。四、数据挖掘方法四、数据挖掘方法神经网络神经网络3、输出节点变量定义：四、数据挖掘方法神经网络神经网络神经网络样本样本输出定义输出定义级别转换为区间（级别转换为区间（0，1）的值）的值四、数据挖掘方法四、数据挖掘方法神经网络神经网络神经网络样本输出定义级别转换为区间（0，1）的值四、数据神经网络神经网络模型模型输出定义输出定义区间（区间（0，1）值转换为级别）值转换为级别例：当输出是例：当输出是0.55时，由于时，由于 0.55-0.63 =0.08 0.55-0.37 =0.18 所以，判别输出所以，判别输出Y属于属于3级。级。四、数据挖掘方法四、数据挖掘方法神经网络神经网络神经网络模型输出定义区间（0，1）值转换为级别例：当输出神经网络神经网络模型模型输出定义输出定义区间（区间（0，1）值转换为级别）值转换为级别四、数据挖掘方法四、数据挖掘方法神经网络神经网络神经网络模型输出定义区间（0，1）值转换为级别四、数据挖BPBP模型应用模型应用XORXOR问题问题ClementineClementine求解求解问题：对修改对修改X1=1,X2=1,Y=1X1=1,X2=1,Y=1为为X1=1,X2=1,Y=0X1=1,X2=1,Y=0的的非线性样本非线性样本（称为（称为XORXOR问题），应用数据挖掘软件问题），应用数据挖掘软件ClementineClementine建立具有非线性映射特建立具有非线性映射特点的点的BPBP模型，求解结果如下：模型，求解结果如下：BP模型应用XOR问题Clementine求解问题：对修对应隐节点数选择不同，对应隐节点数选择不同，BPBP神经网络模型结果不同：神经网络模型结果不同：四、基于数据挖掘的决策方法概述四、基于数据挖掘的决策方法概述神经网络神经网络对应隐节点数选择不同，BP神经网络模型结果不同：四、基于数据图图:5:5个隐节点的结果输出个隐节点的结果输出BPBP模型应用模型应用XORXOR问题问题ClementineClementine求解求解图:5个隐节点的结果输出BP模型应用XOR问题ClemP108p109四、数据挖掘方法四、数据挖掘方法神经网络神经网络P108p109四、数据挖掘方法神经网络P109四、数据挖掘方法四、数据挖掘方法神经网络神经网络P109四、数据挖掘方法神经网络P109P110四、数据挖掘方法四、数据挖掘方法神经网络神经网络P109P110四、数据挖掘方法神经网络评价分四级：评价分四级：v非常好，非常好，g好，好，a 一般，一般，b差差P123四、数据挖掘方法四、数据挖掘方法神经网络神经网络评价分四级：v非常好，g好，a 一般，城市医疗能力综合评价城市医疗能力综合评价BP模型建立模型建立四、数据挖掘方法四、数据挖掘方法神经网络神经网络城市医疗能力综合评价BP模型建立四、数据挖掘方法神经网络城市医疗能力综合评价城市医疗能力综合评价BP模型建立模型建立需要将定性的取值转换为定量取值，并映射到【需要将定性的取值转换为定量取值，并映射到【0，1】四、数据挖掘方法四、数据挖掘方法神经网络神经网络城市医疗能力综合评价BP模型建立需要将定性的取值转换为定量取P125四、数据挖掘方法四、数据挖掘方法神经网络神经网络P125四、数据挖掘方法神经网络P125四、数据挖掘方法四、数据挖掘方法神经网络神经网络用一个输出变量表示用一个输出变量表示P125四、数据挖掘方法神经网络用一个输出变量表示P125四、数据挖掘方法四、数据挖掘方法神经网络神经网络P125四、数据挖掘方法神经网络P126四、数据挖掘方法四、数据挖掘方法神经网络神经网络级别表示级别表示 V V b a a b a v g g P126四、数据挖掘方法神经网络级别表示 P126四、数据挖掘方法四、数据挖掘方法神经网络神经网络P126四、数据挖掘方法神经网络四种动物识别模型的建立四种动物识别模型的建立补充补充 四、数据挖掘方法四、数据挖掘方法神经网络神经网络应改应改1为为t四种动物识别模型的建立补充 四、数据挖掘方法神经网络四种动物识别模型的建立四种动物识别模型的建立补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络O=(O1,O2,O3,O4)O1O2O3O4Oi(0,1),i=1,2,3,4OOO(0,1)1)1)多输出表示：多输出表示：2)2)单输出表示：若输出用单输出表示：若输出用Y Y表示，则表示，则Y Y转换为【转换为【0.10.1，0.90.9】中的值。】中的值。四种动物识别模型的建立补充四、数据挖掘方法神经网络O四种动物识别模型的建立四种动物识别模型的建立补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络四种动物识别模型的建立补充四、数据挖掘方法神经网络补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络补充四、数据挖掘方法神经网络Clementine辅助城市医疗能力综合评价辅助城市医疗能力综合评价BP模型建立模型建立1 1、导入评价样本数据并选、导入评价样本数据并选 择模型；择模型；2 2、设置参数、设置参数四、数据挖掘方法四、数据挖掘方法神经网络神经网络Clementine辅助城市医疗能力综合评价BP模型建立1、样本样本BPBP预测预测绝对平绝对平均误差均误差建模样本建模样本0.0420.042检验样本检验样本0.140.14四、数据挖掘方法四、数据挖掘方法神经网络神经网络Clementine辅助城市医疗能力综合评价辅助城市医疗能力综合评价BP模型建立模型建立样本BP预测建模样本0.042检验样本0.14四、数据挖掘方建模样本建模样本样本样本病人病人数数医生医生数数工作人工作人员员数数门诊所数门诊所数死亡率死亡率医疗能力评价医疗能力评价预测医疗能预测医疗能力力上海上海0.50.51.51.51.51.51.51.5-1.5-1.51.0000 1.0000 0.9319 0.9319 北京北京-0.5-0.51.51.51.51.51.51.50.50.51.0000 1.0000 0.9800 0.9800 沈阳沈阳-1.5-1.5-1.5-1.5-1.5-1.5-0.5-0.50.50.50.0000 0.0000 0.0337 0.0337 武汉武汉0.50.50.50.50.50.5-0.5-0.5-1.5-1.50.3333 0.3333 0.2429 0.2429 哈尔滨哈尔滨1.51.50.50.5-0.5-0.5-1.5-1.5-0.5-0.50.3333 0.3333 0.3732 0.3732 重庆重庆0.50.50.50.5-1.5-1.5-1.5-1.5-1.5-1.50.0000 0.0000 0.0364 0.0364 成都成都-0.5-0.50.50.50.50.5-0.5-0.5-0.5-0.50.3333 0.3333 0.3806 0.3806 兰州兰州1.51.50.50.5-0.5-0.50.50.51.51.51.0000 1.0000 0.9754 0.9754 青岛青岛0.50.5-1.5-1.51.51.51.51.5-0.5-0.50.6667 0.6667 0.6884 0.6884 鞍山鞍山0.50.5-0.5-0.5-0.5-0.5-1.5-1.51.51.50.6667 0.6667 0.6318 0.6318 Clementine辅助城市医疗能力综合评价辅助城市医疗能力综合评价BP模型建立模型建立四、数据挖掘方法四、数据挖掘方法神经网络神经网络建模样本样本病人数医生数工作人员数门诊所数死亡率医疗能力评价检验样本检验样本样本样本病人数病人数医生数医生数工作人员工作人员数数门诊所数门诊所数死亡率死亡率医疗能力医疗能力评价评价$N-医疗能医疗能力评价力评价天津-1.50.5-1.50.5-0.50.0000 0.1376 广州-0.50.50.50.5-0.50.6667 0.6357 南京-1.50.50.50.5-0.50.6667 0.4148 西安0.50.5-0.50.50.50.6667 0.8954 长春0.50.50.5-0.50.50.6667 0.8698 太原1.50.50.50.51.51.0000 0.9820 大连-1.5-0.5-1.5-0.50.50.0000 0.0794 济南1.51.51.50.5-0.51.0000 0.9707 抚顺0.5-1.5-1.5-1.50.50.3333 0.0553 问题：问题：如果直接以医疗评价医疗能力的五个因素变量的连续数据作为神经网络如果直接以医疗评价医疗能力的五个因素变量的连续数据作为神经网络的输入，而不转为四个级别的取值的输入，而不转为四个级别的取值V,g,a,b,这样建立模型是否可以？这样建立模型是否可以？Clementine辅助城市医疗能力综合评价辅助城市医疗能力综合评价BP模型建立模型建立四、数据挖掘方法四、数据挖掘方法神经网络神经网络检验样本样本病人数医生数工作人员数门诊所数死亡率医疗能力评价样本样本病人数病人数医生医生数数工作人工作人员员数数门诊所数门诊所数死亡率死亡率医疗能力医疗能力评评价价1 1医疗能力评价医疗能力评价2 2医疗能力评价医疗能力评价3 3医疗能力评价医疗能力评价4 4建模样本建模样本上海上海0.50.51.51.51.51.51.51.5-1.5-1.51 10 00 00 0北京北京-0.5-0.51.51.51.51.51.51.50.50.51 10 00 00 0沈阳沈阳-1.5-1.5-1.5-1.5-1.5-1.5-0.5-0.50.50.50 00 00 01 1武汉武汉0.50.50.50.50.50.5-0.5-0.5-1.5-1.50 00 01 10 0哈尔滨哈尔滨1.51.50.50.5-0.5-0.5-1.5-1.5-0.5-0.50 00 01 10 0重庆重庆0.50.50.50.5-1.5-1.5-1.5-1.5-1.5-1.50 00 00 01 1成都成都-0.5-0.50.50.50.50.5-0.5-0.5-0.5-0.50 00 01 10 0兰州兰州1.51.50.50.5-0.5-0.50.50.51.51.51 10 00 00 0青岛青岛0.50.5-1.5-1.51.51.51.51.5-0.5-0.50 01 10 00 0鞍山鞍山0.50.5-0.5-0.5-0.5-0.5-1.5-1.51.51.50 01 10 00 0检验样本检验样本天津天津-1.5-1.50.50.5-1.5-1.50.50.5-0.5-0.50 00 00 01 1广州广州-0.5-0.50.50.50.50.50.50.5-0.5-0.50 01 10 00 0南京南京-1.5-1.50.50.50.50.50.50.5-0.5-0.50 01 10 00 0西安西安0.50.50.50.5-0.5-0.50.50.50.50.50 01 10 00 0长春长春0.50.50.50.50.50.5-0.5-0.50.50.50 01 10 00 0太原太原1.51.50.50.50.50.50.50.51.51.51 10 00 00 0大连大连-1.5-1.5-0.5-0.5-1.5-1.5-0.5-0.50.50.50 00 00 01 1济南济南1.51.51.51.51.51.50.50.5-0.5-0.51 10 00 00 0抚顺抚顺0.50.5-1.5-1.5-1.5-1.5-1.5-1.50.50.50 00 01 10 0城市医疗能力综合评价城市医疗能力综合评价BP模型模型-多输出设计多输出设计四、数据挖掘方法四、数据挖掘方法神经网络神经网络样本病人数医生数工作人员数门诊所数死亡率医疗能力评价1医疗能城市医疗能力综合评价城市医疗能力综合评价BP模型模型-多输出设计多输出设计城市医疗能力综合评价BP模型-多输出设计城市医疗能力综合评价城市医疗能力综合评价BP模型模型-多输出设计多输出设计模型运行：模型运行：用鼠标单击数据用鼠标单击数据excelexcel节点，然后双击模型结果节点，把结果加入到节点，然后双击模型结果节点，把结果加入到流中；用鼠标单击模型结果节点，然后双击窗口下方的输出中的流中；用鼠标单击模型结果节点，然后双击窗口下方的输出中的“表表”节点，将节点，将“表表”节点加入到流中。节点加入到流中。得到模型结果如下：得到模型结果如下：实际样本输出实际样本输出模型输出模型输出城市医疗能力综合评价BP模型-多输出设计模型运行：用鼠模型检验：模型检验：为了对未参与建模的数据进行预测，可以将数据导入流中，如下图所为了对未参与建模的数据进行预测，可以将数据导入流中，如下图所示连接模型。数据类型定义与建模样本一致。可以选择运行示连接模型。数据类型定义与建模样本一致。可以选择运行“表表”节点，得节点，得到预测结果。到预测结果。城市医疗能力综合评价城市医疗能力综合评价BP模型模型-多输出设计多输出设计模型检验：为了对未参与建模的数据进行预测，可以将数据导入流中城市医疗能力综合评价城市医疗能力综合评价BP模型模型-多输出设计多输出设计单输出单输出四输出四输出样本样本医疗能力评价医疗能力评价$R-$R-医疗能力评价医疗能力评价$R-$R-医疗能力评价医疗能力评价建模样本建模样本上海上海1.51.51.3691 1.3691 1.3934 1.3934 北京北京1.51.51.4707 1.4707 1.4355 1.4355 沈阳沈阳-1.5-1.5-1.4760-1.4760-1.4274-1.4274 武汉武汉-0.5-0.5-0.6173-0.6173-0.4587-0.4587 哈尔滨哈尔滨-0.5-0.5-0.4299-0.4299-0.4775-0.4775 重庆重庆-1.5-1.5-1.4750-1.4750-1.4583-1.4583 成都成都-0.5-0.5-0.3873-0.3873-0.4406-0.4406 兰州兰州1.51.51.4578 1.4578 1.4261 1.4261 青岛青岛0.50.50.5385 0.5385 0.4956 0.4956 鞍山鞍山0.50.50.4395 0.4395 0.4391 0.4391 均方误差均方误差0.0057 0.0057 0.0037 0.0037 检验样本检验样本天津天津-1.5-1.5-1.4344-1.4344-1.4171-1.4171 广州广州0.50.50.4915 0.4915 1.2855 1.2855 南京南京0.50.5-0.4965-0.4965 0.7345 0.7345 西安西安0.50.51.1951 1.1951 1.4212 1.4212 长春长春0.50.51.2552 1.2552 1.1041 1.1041 太原太原1.51.51.4732 1.4732 1.4269 1.4269 大连大连-1.5-1.5-1.4552-1.4552-1.4503-1.4503 济南济南1.51.51.4597 1.4597 1.3650 1.3650 抚顺抚顺-0.5-0.5-1.4216-1.4216-1.2744-1.2744 均方误差均方误差0.3228 0.3228 0.2798 0.2798 模型结果对比：模型结果对比：为了将四输出为了将四输出BP神经网络与神经网络与1输出输出BP神经网络结果可以对比，神经网络结果可以对比，需要将四输出神经网络的结需要将四输出神经网络的结果进行转换，将输出结果看果进行转换，将输出结果看成权重，对输出结果进行加成权重，对输出结果进行加权平均。权平均。例如天津四输出的预测结果为例如天津四输出的预测结果为（0.0268,0,0,0.943），则），则医疗能力平均值为医疗能力平均值为=1.5*0.0268/(0.0268+0.943)-1.5*0.943/(0.0268+0.943)=-1.4171。结论：结论：选用多输出进行建模，选用多输出进行建模，模型的均分误差有所减小。模型的均分误差有所减小。城市医疗能力综合评价BP模型-多输出设计单输出四输RBFRBF神经网络神经网络(Radial Basis Function Neural Network)(Radial Basis Function Neural Network)RBF RBF神经网络是一种三层前馈式神经网络，由输入层、隐含神经网络是一种三层前馈式神经网络，由输入层、隐含层和输出层构成。层和输出层构成。RBF结构结构P114四、数据挖掘方法四、数据挖掘方法神经网络神经网络RBF神经网络(Radial Basis Function RBFRBF神经网络模型特点神经网络模型特点：1 1）输入层到隐层的映射是由输入层到隐层的映射是由径向基函数实现的径向基函数实现的非线性非线性变换。当输入变换。当输入XiXi接近类中心表示的隐结点时，网络响应较大，否则响应较小。接近类中心表示的隐结点时，网络响应较大，否则响应较小。2 2）隐层到输出层的映射是线性变换。隐层到输出层的映射是线性变换。3 3）只有一层权值参数。仍采用负梯度修正权值的学习算法只有一层权值参数。仍采用负梯度修正权值的学习算法。RBFRBF（径向基函数）神经网络径向基函数）神经网络模型表示模型表示类中心作隐结点类中心作隐结点看作类半径看作类半径四、数据挖掘方法四、数据挖掘方法神经网络神经网络 RBF神经网络模型特点：RBF（径向基函数）神经四、数据挖掘方法四、数据挖掘方法神经网络神经网络P115四、数据挖掘方法神经网络P115四、数据挖掘方法四、数据挖掘方法神经网络神经网络P115四、数据挖掘方法神经网络P115RBFRBF神经网络求解两值逻辑问题神经网络求解两值逻辑问题补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络RBF神经网络求解两值逻辑问题补充四、数据挖掘方法神经网RBFRBF神经网络求解两值逻辑问题神经网络求解两值逻辑问题补充补充RBF神经网络求解两值逻辑问题补充RBFRBF神经网络求解两值逻辑问题神经网络求解两值逻辑问题补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络RBF神经网络求解两值逻辑问题补充四、数据挖掘方法神经网RBFRBF神经网络求解两值逻辑问题神经网络求解两值逻辑问题补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络RBF神经网络求解两值逻辑问题补充四、数据挖掘方法神经网补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络隐节点隐节点：补充四、数据挖掘方法神经网络隐节点：RBFRBF神经网络求解两值逻辑问题神经网络求解两值逻辑问题补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络RBF神经网络求解两值逻辑问题补充四、数据挖掘方法神经网RBFRBF神经网络求解两值逻辑问题神经网络求解两值逻辑问题补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络RBF神经网络求解两值逻辑问题补充四、数据挖掘方法神经网RBFRBF神经网络求解两值逻辑问题神经网络求解两值逻辑问题补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络RBF神经网络求解两值逻辑问题补充四、数据挖掘方法神经网Clementine12Clementine12辅助辅助RBFRBF神经网络神经网络模型模型-城市医疗能力评价城市医疗能力评价Clementine12辅助RBF神经网络模型-城市医疗建模样本建模样本样本样本病人数病人数医生数医生数工作人员工作人员数数门诊所数门诊所数死亡率死亡率医疗能力医疗能力评价评价预测预测医疗能力医疗能力上海上海0.50.51.51.51.51.51.51.5-1.5-1.51.0000 1.0000 1.0302 1.0302 北京北京-0.5-0.51.51.51.51.51.51.50.50.51.0000 1.0000 1.0660 1.0660 沈阳沈阳-1.5-1.5-1.5-1.5-1.5-1.5-0.5-0.50.50.50.0000 0.0000-0.0289-0.0289 武汉武汉0.50.50.50.50.50.5-0.5-0.5-1.5-1.50.3333 0.3333 0.4113 0.4113 哈尔滨哈尔滨1.51.50.50.5-0.5-0.5-1.5-1.5-0.5-0.50.3333 0.3333 0.5087 0.5087 重庆重庆0.50.50.50.5-1.5-1.5-1.5-1.5-1.5-1.50.0000 0.0000-0.0518-0.0518 成都成都-0.5-0.50.50.50.50.5-0.5-0.5-0.5-0.50.3333 0.3333 0.4435 0.4435 兰州兰州1.51.50.50.5-0.5-0.50.50.51.51.51.0000 1.0000 1.1474 1.1474 青岛青岛0.50.5-1.5-1.51.51.51.51.5-0.5-0.50.6667 0.6667 0.7157 0.7157 鞍山鞍山0.50.5-0.5-0.5-0.5-0.5-1.5-1.51.51.50.6667 0.6667 0.7521 0.7521 Clementine12Clementine12辅助辅助RBFRBF神经网络神经网络模型模型-城市医疗能力评价城市医疗能力评价四、数据挖掘方法四、数据挖掘方法神经网络神经网络建模样本样本病人数医生数工作人员数门诊所数死亡率医疗能力评价检验样本检验样本样本样本病人数病人数医生数医生数工作人员工作人员数数门诊所数门诊所数死亡率死亡率医疗能力评医疗能力评价价预测医疗能预测医疗能力力天津天津-1.5-1.50.50.5-1.5-1.50.50.5-0.5-0.50.0000 0.0000 0.0937 0.0937 广州广州-0.5-0.50.50.50.50.50.50.5-0.5-0.50.6667 0.6667 0.7134 0.7134 南京南京-1.5-1.50.50.50.50.50.50.5-0.5-0.50.6667 0.6667 0.4387 0.4387 西安西安0.50.50.50.5-0.5-0.50.50.50.50.50.6667 0.6667 0.9910 0.9910 长春长春0.50.50.50.50.50.5-0.5-0.50.50.50.6667 0.6667 0.9284 0.9284 太原太原1.51.50.50.50.50.50.50.51.51.51.0000 1.0000 1.2152 1.2152 大连大连-1.5-1.5-0.5-0.5-1.5-1.5-0.5-0.50.50.50.0000 0.0000 0.0584 0.0584 济南济南1.51.51.51.51.51.50.50.5-0.5-0.51.0000 1.0000 1.0468 1.0468 抚顺抚顺0.50.5-1.5-1.5-1.5-1.5-1.5-1.50.50.50.3333 0.3333 0.3312 0.3312 样本样本BP BP 模型模型绝对平均绝对平均误差误差RBFRBF模型模型 绝对平均误绝对平均误差差建模样本建模样本0.0420.0420.0820.082检验样本检验样本0.140.140.1420.142Clementine12Clementine12辅助辅助RBFRBF神经网络神经网络模型模型-城市医疗能力评价城市医疗能力评价检验样本样本病人数医生数工作人员数门诊所数死亡率医疗能力评价RBFRBF神经网络神经网络补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络即即hi=G(|x-ti|)样本样本xj代入后有代入后有gji=hji=G(|xj-ti|)有常数项有常数项,且且i中心是中心是ti这里是通过这里是通过LSLS估计量来求模型参数，而不是通过样本学习修正形式获取估计量来求模型参数，而不是通过样本学习修正形式获取RBF神经网络补充四、数据挖掘方法神经网络即hi=G(|RBFRBF神经网络神经网络四、数据挖掘方法四、数据挖掘方法神经网络神经网络补充补充RBF神经网络四、数据挖掘方法神经网络补充RBFRBF神经网络神经网络补充补充四、数据挖掘方法四、数据挖掘方法神经网络神经网络RBF神经网络补充四、数据挖掘方法神经网络自组织（自组织（Kohonen)Kohonen)神经网络：神经网络：P118四、数据挖掘方法四、数据挖掘方法神经网络神经网络自组织（Kohonen)神经网络：P118四、数据挖掘方法自组织（自组织（Kohonen)Kohonen)神经网络：神经网络：四、数据挖掘方法四、数据挖掘方法神经网络神经网络问题：对于一组无指导（示教）的样本，未知聚类数，如何聚类问题：对于一组无指导（示教）的样本，未知聚类数，如何聚类?思路思路:1）对于输入样本）对于输入样本xi=(xi1,xi2,xin)2）在平面上）在平面上二维二维(x,y)表示表示N个神经元节点，使每神经元表示一输出类别；个神经元节点，使每神经元表示一输出类别；3）随机生成对应神经元）随机生成对应神经元j的权值的权值wj=(wj1,wj2,wjn)，就，就=1,2,N；4）计算）计算xi与与wj的相似度的相似度Sji=1/(min xi-wj+a),对应最大相似度的对应最大相似度的wj的神经的神经元为元为j1；5）定义）定义j1的胜出领域的胜出领域j1,对进入入领域的神域的神经元元对应权值进行修正：行修正：wj（k+1）=wj(k)+wj(k+1)=wj(k)+xi-wj,wj j1，是调整因子是调整因子；6）重复）重复4）与）与5），并使领域），并使领域j1逐步减少，最终领域只有一个对应最大相似度的逐步减少，最终领域只有一个对应最大相似度的wji的神经元的神经元ji*胜出，即样本胜出，即样本xi输出是对应输出是对应wji的神经元的神经元ji*=(xji,yji)表示的类别；表示的类别；7）对每一输入）对每一输入x1，x2，xp，都有对应的二元表示的神经元类别，都有对应的二元表示的神经元类别,得到聚类结果；得到聚类结果；8）对每一类进行优劣特征判别。）对每一类进行优劣特征判别。P118二维二维(x,y)表示的神经元，其表示的神经元，其分别对应分别对应1）权值）权值wj,2)某一类别。某一类别。自组织（Kohonen)神经网络：四、数据挖掘方法神经网自组织（自组织（Kohonen)Kohonen)神经网络神经网络学习过程：学习过程：P120四、数据挖掘方法四、数据挖掘方法神经网络神经网络自组织（Kohonen)神经网络学习过程：P120四、数据自组织（自组织（Kohonen)Kohonen)神经网络神经网络学习过程：学习过程：P120四、数据挖掘方法四、数据挖掘方法神经网络神经网络自组织（Kohonen)神经网络学习过程：P120四、数据自组织（自组织（Kohonen)Kohonen)神经网络神经网络学习过程：学习过程：P120四、数据挖掘方法四、数据挖掘方法神经网络神经网络由于优胜域的定义不由于优胜域的定义不同，可能导致聚类结同，可能导致聚类结果不同。果不同。软件中是以软件中是以宽度、宽度、长度长度两参数定义优胜两参数定义优胜域。域。自组织（Kohonen)神经网络学习过程：P120四、数据自组织（自组织（Kohonen)Kohonen)神经网络神经网络学习过程：学习过程：P120四、数据挖掘方法四、数据挖掘方法神经网络神经网络自组织（Kohonen)神经网络学习过程：P120四、数据自组织（自组织（Kohonen)Kohonen)神经网络神经网络学习过程学习过程:(已知一组关于不同年龄与性别人的用药数据）已知一组关于不同年龄与性别人的用药数据）四、数据挖掘方法四、数据挖掘方法神经网络神经网络自组织（Kohonen)神经网络学习过程:(已知一组关于不同四、数据挖掘方法四、数据挖掘方法神经网络神经网络自组织（自组织（Kohonen)Kohonen)神经网络神经网络聚类结果比较聚类结果比较:(已知上市公司财务数据）已知上市公司财务数据）k-mean方法结果：方法结果：也能把较相近样本归为一类，对于孤立点情况，以不同类划分。也能把较相近样本归为一类，对于孤立点情况，以不同类划分。Kohonen方法结果：方法结果：每一类中的样本数相对一致，但类内相似性较弱，较偏重于样本数均每一类中的样本数相对一致，但类内相似性较弱，较偏重于样本数均衡的考虑。衡的考虑。宽度是宽度是5，长，长度是度是1的聚类的聚类结果结果四、数据挖掘方法神经网络自组织（Kohonen)神经网络下转数据挖掘与统计决策下转数据挖掘与统计决策的第三部分的第三部分决策树分析、关联分析分析、遗传算法决策树分析、关联分析分析、遗传算法谢谢！谢谢！下转数据挖掘与统计决策的第三部分决策树分析、关联分析分
展开阅读全文