机器学习常用数学概念ppt课件

常用数学概念 苏州大学强化学习讨论班常用数学概念12常用数学概念n高斯函数n高斯径向基函数n范数n方向导数、梯度n矩阵、特征值、秩、正定矩阵n概率、期望、方差、协方差n函数、最小二乘苏州大学苏州大学强化学习讨论班讨论班常用数学概念高斯函数苏州大学强化学习讨论班23高斯函数n高斯函数：a：峰值最大值b：峰值x轴偏移量c：弧度跨度n如：苏州大学苏州大学强化学习讨论班讨论班高斯函数高斯函数：苏州大学强化学习讨论班34高斯函数n高斯函数的不定积分是误差函数。在自然科学、社会科学、数学以及工程学等领域都有高斯函数的身影。苏州大学苏州大学强化学习讨论班讨论班高斯函数高斯函数的不定积分是误差函数。在自然科学、社会科学、45核函数n设x,zX，X属于Rn空间，非线性函数实现输入空间X到特征空间F的映射，其中F属于Rm，nm。根据核函数技术有：K(x,z)=(1)其中：为内积，K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾”等问题。苏州大学苏州大学强化学习讨论班讨论班核函数设x,zX，X属于Rn空间，非线性函数实现输入空间56核函数n常用的核函数有：1）高斯核函数：2）多项式核函数：3）感知器核函数：4）样条核函数：苏州大学苏州大学强化学习讨论班讨论班核函数常用的核函数有：苏州大学强化学习讨论班67径向基函数n径向基函数(RadialBasisFunction简称RBF)是某种沿径向对称的标量函数。n通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数，可记作k(|x-xc|)，其作用往往是局部的，即当x远离xc时函数取值很小。苏州大学苏州大学强化学习讨论班讨论班径向基函数径向基函数(RadialBasisFunct78高斯径向基函数n最常用的径向基函数是高斯核函数，形式为:其中xi为核函数中心，是计算两个样本的二范数为函数的宽度参数，控制了函数的径向作用范围。苏州大学苏州大学强化学习讨论班讨论班高斯径向基函数最常用的径向基函数是高斯核函数，苏州大学强化学89高斯径向基函数苏州大学苏州大学强化学习讨论班讨论班高斯径向基函数苏州大学强化学习讨论班910高斯径向基函数n：二维或者多维状态，：“径”，即函数中心n：协方差矩阵，表示了状态各维之间的关系？苏州大学苏州大学强化学习讨论班讨论班高斯径向基函数：二维或者多维状态，：1011高斯函数n高斯函数是一种函数形式，这种函数形式既可以用来作为核函数，也可以用来作为径向基函数。是计算两个样本的二范数苏州大学苏州大学强化学习讨论班讨论班高斯函数苏州大学强化学习讨论班1112范数苏州大学苏州大学强化学习讨论班讨论班范数苏州大学强化学习讨论班1213范数 ，当且仅当，当且仅当 时，等号成立。时，等号成立。显然向量显然向量 的模的模 具有下列三条性质：具有下列三条性质：例例例例 1 1 1 1 维欧氏空间中向量维欧氏空间中向量 的长度或的长度或模模定义为定义为苏州大学苏州大学强化学习讨论班讨论班范数，当且仅当1314范数定义定义定义定义 如果如果 是是数域数域 上的线性空间，对上的线性空间，对 中的任中的任意向量意向量 ，都有一个，都有一个非负实数非负实数 与之对应，并与之对应，并且具有下列三个条件（且具有下列三个条件（正定性、正齐性和三角不等式正定性、正齐性和三角不等式）：）：则称则称 是向量是向量 的的向量范数向量范数向量范数向量范数，称定义了范数的线，称定义了范数的线性空间性空间 为为赋范线性空间赋范线性空间赋范线性空间赋范线性空间。苏州大学苏州大学强化学习讨论班讨论班范数定义如果是数域上的线性空间，对中的任1415范数例例例例 2 2 2 2 对任意对任意 ，由，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为p-p-范数范数范数范数或或 范数。范数。苏州大学苏州大学强化学习讨论班讨论班范数例2对任意1516范数例例例例 3 3 3 3 对任意对任意 ，由，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为1-1-范数范数范数范数或或 范数或范数或和范数和范数和范数和范数。p=1 时，有时，有苏州大学苏州大学强化学习讨论班讨论班范数例3对任意1617例例例例 4 4 4 4 对任意对任意 ，由，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为2-2-范数范数范数范数或或 范数，也称为范数，也称为 Euclid Euclid 范数范数范数范数。p=2 时，有时，有范数苏州大学苏州大学强化学习讨论班讨论班例4对任意1718例例例例 5 5 5 5 对任意对任意 ，由，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为 -范数范数范数范数或或 范数或范数或极大范数极大范数极大范数极大范数。在在广义实数广义实数范围内，范围内，P P能否取到正无穷大呢？能否取到正无穷大呢？可以证明：可以证明：范数苏州大学苏州大学强化学习讨论班讨论班例5对任意1819范数令令 ，则有，则有由极限的两边夹法则，并注意到由极限的两边夹法则，并注意到 ，即得，即得欲证结论。欲证结论。证明：证明：苏州大学苏州大学强化学习讨论班讨论班范数令1920方向导数 讨论函数讨论函数 在一点在一点P沿某一方向沿某一方向的变化率问题的变化率问题苏州大学苏州大学强化学习讨论班讨论班方向导数讨论函数2021方向导数当当 沿着沿着 趋于趋于 时，时，是否存在？是否存在？苏州大学苏州大学强化学习讨论班讨论班方向导数当沿着趋于时，是否存在？苏州2122记为记为方向导数苏州大学苏州大学强化学习讨论班讨论班记为方向导数苏州大学强化学习讨论班2223证明略证明略方向导数苏州大学苏州大学强化学习讨论班讨论班证明略方向导数苏州大学强化学习讨论班2324方向导数推广可得推广可得n元函数方向导数的定义元函数方向导数的定义苏州大学苏州大学强化学习讨论班讨论班方向导数推广可得n元函数方向导数的定义苏州大学强化学习讨论班2425梯度苏州大学苏州大学强化学习讨论班讨论班梯度苏州大学强化学习讨论班2526梯度苏州大学苏州大学强化学习讨论班讨论班梯度苏州大学强化学习讨论班2627梯度结论结论 函数在某点的梯度是这样一个向量，函数在某点的梯度是这样一个向量，它的方向与取得它的方向与取得最大方向导数最大方向导数的方向一致的方向一致,而它的模为方向导数的最大值梯度的模为而它的模为方向导数的最大值梯度的模为x轴到梯度的转角轴到梯度的转角的正切为的正切为苏州大学苏州大学强化学习讨论班讨论班梯度结论函数在某点的梯度是这样一个向量，它的方向与取得最大2728在几何上在几何上 表示一个曲面表示一个曲面曲面被平面曲面被平面 所截得所截得所得曲线在所得曲线在xoy面上投影如图面上投影如图等高线等高线梯度为等高线上的法向量梯度为等高线上的法向量梯度苏州大学苏州大学强化学习讨论班讨论班在几何上表示2829梯度等高线等高线苏州大学苏州大学强化学习讨论班讨论班梯度等高线苏州大学强化学习讨论班2930梯度梯度与等高线苏州大学苏州大学强化学习讨论班讨论班梯度梯度与等高线苏州大学强化学习讨论班3031梯度n结论：在点的梯度为在该点增长最快的方向苏州大学苏州大学强化学习讨论班讨论班梯度结论：苏州大学强化学习讨论班3132梯度 三元函数的梯度三元函数的梯度也是一个向量，也是一个向量，其方向与取得最大方向导数的方向一致，其方向与取得最大方向导数的方向一致，其模为方向导数的最大值其模为方向导数的最大值.苏州大学苏州大学强化学习讨论班讨论班梯度三元函数的梯度也是一个向量，其方向与取得最3233矩阵-特征值与特征向量苏州大学苏州大学强化学习讨论班讨论班矩阵-特征值与特征向量苏州大学强化学习讨论班3334矩阵-特征值与特征向量苏州大学苏州大学强化学习讨论班讨论班矩阵-特征值与特征向量苏州大学强化学习讨论班3435矩阵-特征值与特征向量苏州大学苏州大学强化学习讨论班讨论班矩阵-特征值与特征向量苏州大学强化学习讨论班3536矩阵-特征值与特征向量苏州大学苏州大学强化学习讨论班讨论班矩阵-特征值与特征向量苏州大学强化学习讨论班3637矩阵-秩及其求法 苏州大学苏州大学强化学习讨论班讨论班矩阵-秩及其求法苏州大学强化学习讨论班3738矩阵-秩及其求法苏州大学苏州大学强化学习讨论班讨论班矩阵-秩及其求法苏州大学强化学习讨论班3839矩阵-秩及其求法苏州大学苏州大学强化学习讨论班讨论班矩阵-秩及其求法苏州大学强化学习讨论班3940矩阵-秩及其求法苏州大学苏州大学强化学习讨论班讨论班矩阵-秩及其求法苏州大学强化学习讨论班4041矩阵-秩及其求法苏州大学苏州大学强化学习讨论班讨论班矩阵-秩及其求法苏州大学强化学习讨论班4142矩阵-秩及其求法苏州大学苏州大学强化学习讨论班讨论班矩阵-秩及其求法苏州大学强化学习讨论班4243矩阵-秩及其求法苏州大学苏州大学强化学习讨论班讨论班矩阵-秩及其求法苏州大学强化学习讨论班4344矩阵-秩及其求法苏州大学苏州大学强化学习讨论班讨论班矩阵-秩及其求法苏州大学强化学习讨论班4445合同定义定义4 设有两个 阶矩阵,如果存在一个可逆矩阵使得,则称矩阵与 合同关系是矩阵之间的又一重要关系，它是研究二次型的主要工具合同关系具有以下性质：性性质1 与自身合同 性性质2 若 合同,则与合同.与性质性质3 若若 合同,与合同,则与合同.与合同矩阵苏州大学苏州大学强化学习讨论班讨论班合同定义4设有两个阶矩阵,如果存在一个可逆矩阵使得,则4546定义定义5 含有个变量的二次齐次函数称为二次型 取则那么，实二次型可以写成：正定矩阵苏州大学苏州大学强化学习讨论班讨论班定义5含有个变量的二次齐次函数称为二次型取则那么，实二次4647则二次型可记作 记苏州大学苏州大学强化学习讨论班讨论班则二次型可记作记苏州大学强化学习讨论班4748 任给一个二次型，就惟一确定一个对称矩阵；反之，任给一个对称矩阵，也可惟一确定一个二次型这样，实二次型与实对称矩阵之间存在一一对应关系因此，我们把对称矩阵 叫做二次型 的矩阵，也把 叫做对称矩阵 的二次型对称矩阵 的秩就叫做二次型 的秩例如可表示为苏州大学苏州大学强化学习讨论班讨论班任给一个二次型，就惟一确定一个对称矩阵；反之4849正定矩阵1：对称阵：对称阵A为正定的充分必要条件是：为正定的充分必要条件是：A的特征值全为正。的特征值全为正。2：对称阵：对称阵A为正定的充分必要条件是：为正定的充分必要条件是：A的各阶顺序主子式都为正。的各阶顺序主子式都为正。3：任意阵：任意阵A为正定的充分必要条件是：为正定的充分必要条件是：A合同于单位阵。合同于单位阵。苏州大学苏州大学强化学习讨论班讨论班正定矩阵1：对称阵A为正定的充分必要条件是：A的特征值全为正4950期望n一个班有40个学生，考80分的概率是20%，考70分的概率是50%，考60分的概率是30%n这个班的平均分是多少？n求平均方法：总分数/总人数=n求期望方法：80*20%+70*50%+60*30%=69所以期望从本质上来说，就是平均值苏州大学苏州大学强化学习讨论班讨论班期望一个班有40个学生，考80分的概率是20%，考70分的概5051方差n每个同学与平均分69都存在一个差值，n差+11分，共8人；差-1分，共20人；差-9分，共12人n差值平方的平均（期望）：n此即为方差n为标准差，方差或者标准差说明了相互之间差距的大小苏州大学苏州大学强化学习讨论班讨论班方差每个同学与平均分69都存在一个差值，苏州大学强化学习讨论5152方差 定义定义苏州大学苏州大学强化学习讨论班讨论班方差定义苏州大学强化学习讨论班5253方差计算(1)利用定义计算利用定义计算 (2)利用公式计算利用公式计算苏州大学苏州大学强化学习讨论班讨论班方差计算(1)利用定义计算(2)利用公式计算苏州大5354协方差与相关系数 定义定义 苏州大学苏州大学强化学习讨论班讨论班协方差与相关系数定义苏州大学强化学习讨论班5455协方差与相关系数 协方差的性质协方差的性质 相关系数的意义相关系数的意义苏州大学苏州大学强化学习讨论班讨论班协方差与相关系数协方差的性质相关系数的意义苏州5556协方差与相关系数(1)不相关与相互独立的关系不相关与相互独立的关系注意注意相互独立相互独立不相关不相关(2)不相关的充要条件不相关的充要条件苏州大学苏州大学强化学习讨论班讨论班协方差与相关系数(1)不相关与相互独立的关系注意相互独立不5657协方差与相关系数n1、直观上来看，协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。n2、如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。n3、如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。n4、如果X与Y是统计独立的，那么二者之间的协方差就是0。苏州大学苏州大学强化学习讨论班讨论班协方差与相关系数1、直观上来看，协方差表示的是两5758协方差矩阵n协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。n矩阵中的第(i,j)个元素是xi与xj的协方差，如：苏州大学苏州大学强化学习讨论班讨论班协方差矩阵协方差矩阵是一个矩阵，其每个元素是各个向量元素之间5859回顾回顾：高斯径向基函数n：二维或者多维状态，：“径”，即函数中心n：协方差矩阵协方差矩阵，表示了状态各维之间的线性关系？谁和谁的协方差？苏州大学苏州大学强化学习讨论班讨论班回顾：高斯径向基函数：二维或者多维状态，5960条件概率苏州大学苏州大学强化学习讨论班讨论班条件概率苏州大学强化学习讨论班6061贝叶斯概率苏州大学苏州大学强化学习讨论班讨论班贝叶斯概率苏州大学强化学习讨论班6162函数n函数函数为一个集合到另外一个集合的映射。如：值日表星期一肖飞星期二周鑫星期三于俊星期四凌蒙星期五穆翔苏州大学苏州大学强化学习讨论班讨论班函数函数为一个集合到另外一个集合的映射。星期一肖飞星期二周鑫6263函数12627437642451636427218399741017113812？xyy=x2+1函数函数1函数函数2函数函数3函数最原始原始的表达形式是表格表格函数有函数有3种表达形式种表达形式：表格表格 公式公式 坐标坐标苏州大学苏州大学强化学习讨论班讨论班函数12627437642451636427218399746364函数12627437642451636427218399741017113812？xy函数函数 1如果找的函数函数1的公式，有以下好处：1、便于存储，只要存储公式的字符串；2、便于传输，只要传输公式的字符串；3、当x=12时，可以估计y的值；4、？5、？y=x3+x+1苏州大学苏州大学强化学习讨论班讨论班函数12627437642451636427218399746465函数公式1：y=x3+x+1公式2：y=6x5-ex+9126274376424516364272183997410171138xy函数1126(0)269(5)376(0)432(8)5159(4)638(4)723(2)841(2)971(3)1017(0)1144(6)xy差值之和为34128(2)272(0)369(7)425(1)5166(3)634(8)725(4)839(0)973(1)1015(2)1146(8)xy差值之和为36n问题1：逼近函数1时，哪个公式好？判断好坏的标准是什么？问题2：能找到一个公式，完全逼近函数1吗？苏州大学苏州大学强化学习讨论班讨论班函数公式1：y=x3+x+16566函数a=2b=4c=7d=5124(2)269(5)382(6)432(8)5159(4)638(4)723(2)841(2)971(3)1019(2)1145(7)xy差值之和为48128(2)272(2)369(7)425(1)5166(3)634(8)725(4)842(3)973(1)1015(2)1142(4)xy差值之和为33y=axb+ecx+da=6b=3c=8d=2n调整abcd四个参数，能完全逼近函数1吗？n在函数形式固定的情况下，想要完全逼近函数1，理论上需要多少参数？n如果不能完全逼近函数1，最好的四个参数存在吗？如果存在，如何找到这个四个参数？苏州大学苏州大学强化学习讨论班讨论班函数124(2)269(5)382(6)432(8)56667函数n如果函数形式修改为：f(x)=af1(x)+bf2(x)+cf3(x)+df4(x)则称为线性函数逼近采用线性函数逼近，形式上比较简单，也容易收敛。f1f4称为基函数苏州大学苏州大学强化学习讨论班讨论班函数如果函数形式修改为：苏州大学强化学习讨论班6768函数f(x)=af1(x)+bf2(x)+cf3(x)+df4(x)n调整a、b、c、d四个参数，能完全逼近函数1吗？n在基函数固定的情况下，想要完全逼近函数1，理论上需要多少参数？n如果不能完全逼近函数1，最好的四个参数存在吗？如果存在，如何找到这个四个参数？苏州大学苏州大学强化学习讨论班讨论班函数f(x)=af1(x)+bf2(x)+cf36869函数n寻找最好的4个参数的方法，是使得前面所叙差值之和最小，为避免求绝对值，采用取求差值平方和的方法，即：(y1)2+(y2)2+(y11)2取最小值。称为最小二乘方法苏州大学苏州大学强化学习讨论班讨论班函数寻找最好的4个参数的方法，是使得前面所叙差值之和最小，6970最小二乘问题解法n假定使得差值平方和为0，即：af1(1)+bf2(1)+cf3(1)+df4(1)-262+af1(2)+bf2(2)+cf3(2)+df4(2)-742+af1(11)+bf2(11)+cf3(11)+df4(11)-382=0126274376424516364272183997410171138函数1改写为方程组：苏州大学苏州大学强化学习讨论班讨论班最小二乘问题解法假定使得差值平方和为0，即：126274377071最小二乘问题解法af1(1)+bf2(1)+cf3(1)+df4(1)=26af1(2)+bf2(2)+cf3(2)+df4(2)=74af1(11)+bf2(11)+cf3(11)+df4(11)=38126274376424516364272183997410171138函数1称为矛盾方程组。即即：找不到a、b、c、d这4个参数，使得上面11个等式都成立，只能找到一个极小解。苏州大学苏州大学强化学习讨论班讨论班最小二乘问题解法12627437642451636427217172最小二乘问题解法n为表示方便，a、b、c、d待求参数用4维列向量X代替n常数f1(1)f2(1)f3(1)f4(1)f1(2)f2(2)f3(2)f4(2)f1(11)f2(11)f3(11)f4(11)用11*4矩阵A表示n常数26、7438用11维列向量b表示苏州大学苏州大学强化学习讨论班讨论班最小二乘问题解法为表示方便，a、b、c、d待求参数用4维列向7273最小二乘问题解法af1(1)+bf2(1)+cf3(1)+df4(1)=26af1(2)+bf2(2)+cf3(2)+df4(2)=74af1(11)+bf2(11)+cf3(11)+df4(11)=38改写为矩阵表示苏州大学苏州大学强化学习讨论班讨论班最小二乘问题解法改写为矩阵表示苏州大学强化学习讨论班7374最小二乘问题解法n极小解的充要条件是满足n即：即：此此正规方程组正规方程组的确切解的确切解,是是矛盾方程组矛盾方程组 的极小解的极小解n即：极小解n证明在下页（逆矩阵存在）苏州大学苏州大学强化学习讨论班讨论班最小二乘问题解法（逆矩阵存在）苏州大学强化学习讨论班7475最小二乘问题解法苏州大学苏州大学强化学习讨论班讨论班最小二乘问题解法苏州大学强化学习讨论班7576最小二乘问题解法苏州大学苏州大学强化学习讨论班讨论班最小二乘问题解法苏州大学强化学习讨论班7677函数nf(x)=af1(x)+bf2(x)+cf3(x)+df4(x)求a，b，c，d4个参数，还有其他方法吗？f(x)在逼近在逼近函数函数1的的方向方向上（即在减小差值之和的上（即在减小差值之和的方向上），来调整方向上），来调整4个参数的值个参数的值如何找到这个如何找到这个方向方向？可以采用？可以采用梯度方法梯度方法苏州大学苏州大学强化学习讨论班讨论班函数f(x)=af1(x)+bf2(x)+cf3(7778thanks苏州大学苏州大学强化学习讨论班讨论班苏州大学强化学习讨论班78