盲源分离问题综述

盲源分离问题综述摘要：盲源分离，是从观测到的混合信号中恢复不可观测的源信号的问题。作为阵列信号解决的一种新技术，近几年来受到广泛关注。本文重要论述了盲源分离问题的数学模型、典型算法以及盲源分离的应用，并结合盲源分离问题的研究现状，分析了其将来的发展方向。主题词：盲源分离;盲源分离的典型算法1. 引言盲信号分离问题来源于人们对“鸡尾酒会”问题的研究。 在某个约会上，我们正在互相交谈，同一时刻同一场景下其她人的交谈也在同步进行着，也许尚有乐队的音乐伴奏，这时整个会场上是一片嘈杂。但是非常奇妙的是，作为交谈对象的双方，我们可以在这混乱的众多声音中很清晰的听到对方的话语，固然，如果我们偶尔走神，将精力放在乐队奏出的音乐时，我们也同样可以听清晰音乐的主旋律。这种可以从由许多声音所构成的混合声音中选用自己需要的声音而忽视其她声音的现象就是鸡尾酒会效应。如何在这种从观测到的混合信号中分离出源信号的问题就是所谓的盲分离（Blind Signal Separation, BSS）问题，有时也被称为盲源分离（Blind Source Separation）问题。1986年，法国学者Jeanny Herault和Christian Jutten提出了递归神经网络模型和基于Hebb学习律的学习算法，以实现两个独立源信号混合的分离，这一篇开创性论文的刊登使盲源分离问题的研究有了实质性的进展。随着数字信号解决理论和技术的发展以及有关学科的不断进一步,大量有效的盲分离算法不断被提出,使盲分离问题逐渐成为当今信息解决领域中最热门的研究课题之一,在无线通信、图象解决、地震信号解决、阵列信号解决和生物医学信号解决等领域得到了广泛的应用。2. 盲源分离问题的数学模型盲源分离是指在不懂得源信号和信道传播参数的状况下,根据输入信号的记录特性,仅由观测信号恢复出源信号各个独立成分的过程。盲源分离研究的信号模型重要有三种:线性混合模型、卷积混合模型和非线性混合模型。2.1 线性混合模型线性混合模型在神经网络、信号解决等研究中常常用到,其数学模型描述为:S1t，S2t Snt是一种随机的时间序列，用m个话筒表达接受到的混合信号，用X1t，X2t Xmt来表达。它们有如下关系：X1t=a11S1t+a1nSntXmt=am1S1t+amnSnt其中aij是未知的混合系数，在线性瞬时混合中，一般假定aij是未知的常数矩阵。盲源分离需要解决的问题就是如何从接受到的观测信号中估计出源信号S1t，S2t Snt和混合矩阵的过程。事实上式还应当存在一种干扰存项，如果考虑到噪声的存在，那么上式可以推广到更一般的状况，即为：X(t)=AS(t)+n(t)X(t)= (X1t，X2t Xmt)为接受到的m维随机向量，又称为观测向量，也是唯一可以运用的条件，S(t)= (S1t，S2t Snt)是n维独立的源信号构成的向量，又称为隐含向量，由于它们是未知的观测不到的向量，有时也称为独立分量，n(t)为噪声向量，A是aij系数构成的混合矩阵。盲分离问题就是求得一种分离矩阵W，通过W就可以仅从观测信号X(t)中恢复出源信号S(t)。设y(t)是源信号的估计矢量，则分离系统可由下式表达：Y(t)=WX(t)2.2 卷积混合模型考虑到延迟和滤波的混迭信号的线性混合，这一般被称为卷积混合，其数学模型描述为:Y(t)=k=-W(k)x(t-k)由于传播的延时以及接受系统频响的差别，瞬时混合系统盲分离算法一般不可以解决卷积混合问题。一类很有研究前景的措施就是频域盲源分离算法，运用频域算法可以提高BSS措施的收敛速度和学习速度，此外时域卷积问题可以变换为频域相乘问题。2.3 非线性混合模型非线性混合是一种研究最为广泛的模型,即将源信号线性混合后再通过一种非线性函数得到观测信号，其数学模型描述为:Y(t)=f(Z(t)=f(AS(t)求解时一方面寻找一种非线性函数g(t)，使得g(t)=f-1(t)，即非线性的校正阶段,然后同线性瞬时混合的盲分离求解同样寻找一种分离矩阵从而求得源信号的近似。3. 盲源分离问题的典型算法3.1 H-J算法Herault和Jutten也许是最早对盲源分离问题进行研究的，她们引进了仿神经的算法，是一种逐渐调节权重的神经网络。图一 H-J算法仿神经网络由图可知，Y(t)= X(t)- WY(t)，即Y(t)=(I+W)-1X(t)，算法的实质就是引入了信号的高阶记录信息，但是由于学习每一步过程中都要对矩阵（I+W）求逆，导致运算量增长。H-J算法中非线形函数的选用品有随意性，在理论上没有给出令人满意的收敛性证明，但是在实际应用中的收敛性相称不错。但是需要注意的是H-J算法仅用于观测信号数目与源信号数目相似的状况下，仍然具有一定的局限性。3.2 最大熵算法从信息理论角度来考虑，盲信号分离问题就是一种以分离系统最大熵为准则，运用神经网络或自适应算法，通过非线性函数来间接获得高阶累积量的过程。这种措施的思想就是当神经元输出Z的各个分量zi互相独立时，其熵最大，因此这种措施又称为最大熵算法。Bell和Sejnowski的这种措施是将Linskers的信息传播最大化理论推广到非线性单元来解决任意分布的输入信号。这一原理具体内容如下：假设信号通过S型函数传播时，如果该S型函数的斜率部分与信号的高密部分保持一致时，则可以实现信息的最大化传播。由最大熵原理可以懂得，当输出熵最大时，互熵也最大，即有最多的信息通过了可逆变换从输入端传播到输出端。这时输入变量的概率密度函数和可逆变换G之间的关系由Linsker的最多信息原理（Infomax Principle）描述：当函数G的最陡部分与输入变量的最陡概率部分向重叠时，最大的信息从输入端传导了输出端。图二 最大熵算法网络构造示意图对于最大熵算法所解决的最基本的问题就是要使得一种神经网络解决单元的输出Y(t)中涉及的有关其输入X(t)的互信息最大。这个算法只可以分离出超高斯信号的混合，这个限制的重要因素是在算法中使用了非线性函数log，非线性函数是log就相称于强加一种先验知识超高斯分布给源信号。3.3 最小互信息算法最小互信息（Minimum Mutual Information, MMI）的基本思想是选择神经网络的权值矩阵W，使得输出Y的各个分量之间的有关性最小化。这里的信号间的互相依赖关系可以用Y的概率密度函数及其各个边沿概率密度函数的乘积间的K-L散度来表达。在使用互信息作为信号分离的代价函数时，对输出的各个分量无需使用非线性变换这种预解决手段。由随机梯度算法得到：dW(t)dt=tW-T-(Y)xT其中t为学习率,(Y)函数的选用与独立元的自身性质有关。函数(Y)的选用对于整个算法的性能有很大的影响，如果懂得了真正的概率密度函数，最佳的选择就是使用它们，但是实际中我们很难懂得这些知识，只可以进行概率密度的自适应估计，因此对这个核心的非线性函数进行研究，也是一种值得关注的问题。3.4 最大似然算法最大似然估计（Maximum Likelihood Estimation, MLE）是运用已经获得的观测样本来估计样本的真实概率密度。具有诸如一致性、方差最小性以及全局最优性等诸多长处，但是最大似然估计需要懂得有关输入信号概率分布函数的先验知识，这是很难满足的，因此必须尽量避开它。最大似然估计一方面是由Girolami和Fyfe于1996年提出用于盲分离问题，而Pearlmutter和Parra从最大似然估计推导出通用的ICA学习规则。目前，最大似然算法是解决盲分离问题的一种非常普遍的措施。通过推导可以得到原则化的最大似然函数：L (x1,x2,xn;)=pxxlogpx(x;)dx=-Dpxx|px(x;)-H(pxx)由此式我们可以发现最大似然函数是由Kullback-Leibler散度和熵值得到的，而第二项的熵不依赖于参数，相称于一种常数项。Cardoso将上式转化为一种盲源分离问题：pxx为x的概率分布函数，混合信号由X=AS给出，=A为所规定的未知的混合矩阵，参数集是一组可逆的NN的矩阵。这样由上式可以得到最大似然估计的代价函数就变成L=-Dpxx|px(x;)3.5 独立分量分析算法(ICA)信号通过变换后,使不同信号分量之间的有关性最小化,并尽量互相记录独立。目前已有诸多有效的在线ICA算法,如自然梯度算法、EASI算法、广义ICA算法、灵活ICA算法和迭代求逆ICA算法等。这些算法都可归类为最小均方算法(LMS),但LMS型算法存在收敛速度和稳态性能之间的矛盾，一般有如下几种典型的独立分量分析算法。1.迅速定点算法(FastICA)FastICA算法基于非高斯性最大化原理,使用固定点迭代理论寻找WTX 的非高斯性最大值。该算法采用牛顿迭代算法,对观测变量X的大量采样点进行批解决,每次从观测信号中分离出一种独立分量,是一种迅速的寻优迭代算法。FastICA算法合用于任何非高斯信号,具有良好的收敛性(二次收敛) ,同步不需要选择学习步长。但该算法只能以批解决的方式进行,不适合实时应用的需要,并且随着信号源个数的增长,算法性能会明显变差。算法的梯度公式如下:W = diag (i)diag (i)+Eg(y)yT W式中: i=-1i+Egyi; i= - Eyigyi。2.自然梯度算法由于分离矩阵的变化空间是黎曼空间,而自然梯度J( y;W )WWTW是随机梯度J( y;W )W在黎曼空间的扩展,因此自然梯度更真实地反映了最速下降方向,同步由于右乘正定矩阵消去了矩阵求逆运算,因此自然梯度算法在收敛速度和稳定性方面都较随机梯度有所改善。梯度公式如下:W =I - g ( y)yTW，式中：为学习步长3.等变化自适应算法( EASI)EASI算法用相对梯度J( y;W )W替代一般的随机梯度进行优化计算,是一种将白化过程和清除高阶有关过程同步进行的一种具有等变化性的算法。但是EASI算法需要选用学习率参数,且其选用与否合适直接影响算法的收敛性能,且其对于超高斯信号的收敛速度没有递归最小二乘(RLS)算法快。其梯度公式如下:W =I - yyT + g ( y) yT- ygT( y) W自然梯度算法、EASI算法和迭代求逆算法都具有等变化性,但只适合于亚高斯或超高斯信号单独存在的状况。在亚高斯和超高斯信号同步存在时,可以使用广义ICA算法和灵活ICA算法等自适应算法,但它们的计算比较复杂。3.6 非线性PCA算法主分量分析PCA是以输入数据协方差矩阵的最大特性值以及相应的特性向量定义的常规的记录信号解决措施，原则的PCA措施仅仅用到了输入数据的二阶记录量，输出数据之间满足互不有关。将高阶记录量引入原则的PCA措施中就称为非线性PCA（Nonlinear PCA, NLPCA）措施，运用非线性PCA可以完毕对输入信号的盲分离。高阶记录量是以隐含的方式引入计算的，算法采用自适应迭代的措施，易于工程实现。非线性PCA有两个长处：一是输入输出间的映射是非线性的，而原则PCA只可以实现线性映射；二是非线性PCA在解决输入数据时，考虑了高阶记录量，而不仅仅是其二阶记录量，这个特性对于盲信号解决是特别有用的。非线性PCA的代价函数为：J(W)=E|V-Wg(WTV)|2这里的权值W是mm的矩阵,g()是对矢量的非线性函数，在非线性准则里，g()一般是某些奇函数，如亚高斯信号g(t)=tanh(t)，超高斯信号g(t)= t3等。3.7 非线性混合盲分离算法在非线性混合模型中,盲信号分离算法的分离目的是获取逆线性混合矩阵。非线性盲分离的研究重要有如下几类措施:1.自组织映射(SOM)法:该算法不考虑非线性混合的具体形式,但其网络复杂性会随着源信号数目的增多呈指数增长,且在分离持续源信号时存在严重的插值误差。2.感知器模型法:1992年,Burel一方面提出用一种两层感知器和基于BP思想的无监督训练算法,通过梯度下降算法最小化互信息量准则,得到一种可用于非线性混合信号的盲分离算法。1998年,Yang和Amari运用两层感知器网络构造,通过最大熵和最小互信息作为测量独立的代价函数,提出了BP网络训练算法,当合理选择非线性函数时,该算法可以分离出某些特定非线性混合的源信号。3.径向基函数网络法:,Tan等人提出了使用径向基函数(RBF)神经网络逼近非线性混叠的逆映射,实现盲信号分离。4.后非线性混合盲分离措施: 1997年,Taleb和Jutten一方面提出了后非线性混合模型,同步指出此类模型具有可分离性,并针对此类模型提出了一种非线性混合盲分离算法。Solazzi和Uncini也针对后非线性混合模型,基于信息量最大化准则,运用自适应样条函数,提出了样条神经网络后非线性盲分离算法。运用多种独立同分布信号的线性组合仍服从高斯分布的特性,先将观测信号变成高斯信号,然后用瞬时线性混合的算法分离提取源信号,这种算法省去了求逆的过程。5.贝叶斯集合学习算法:该算法采用多层感知器神经元网络(MLP) ,可以对非线性静态和动态过程实现盲分离。6.基于遗传算法的盲分离措施:该算法基于非线性混合模型:X(t)= AfHS(t)式中: A和H为线性、瞬时构造的混合矩阵。运用遗传算法使信号非线性混合度最小化,然后对清除非线性后的数据进行线性分离,从而实现盲分离。与老式的梯度算法相比,基于遗传算法的盲分离措施有着更快的收敛速度和稳定性,可以在全局范畴内寻找最优解。4. 盲源分离的应用4.1 语音信号解决Bell和Sejnoski于1995年提出了最大熵算法，并且给出了语音信号分离的实验，证明了该措施的可行性和有效性。Lee和Bell将基于自然梯度的信息最大传播盲源分离算法进行盲反卷积，并用于真实环境的语音信号分离，实验证明分离后，可以提高语音辨认率。4.2 生物医学信号解决由于生理信号常常是由若干独立成分的加权（例如，诱发脑电总是被自发脑电所沉没，且常常随着有心电、眼动、头皮肌电等干扰），用独立分量分析技术来分解，所得到的成果更具有生理意义，并有助于清除干扰等。4.3 金融数据分析Back和Weigend于1998年运用独立分量分析对日本三年中每天的股票的portfolio进行分析，假设得到的多维时间序列（例如每天股票的returns）是反映了一种系统（股票市场）的某些记录独立的时间序列互相作用的成果，并同PCA获得的成果进行比较。成果显示，应用ICA分解得到的独立成分可以对股票的价格完好的重建。因此ICA是PCA的一种有效的补充工具，它容许数据的基本构造能更容易的观测得到。4.4 在阵列信号解决以及在移动通信中的应用一种未知的有限的带宽信道的频率响应常常会带来码间干扰（Inter symbol Interference, ISI），当输入未知时，要消除这种干扰，得到信道的传播函数，就必须要进行“盲”解决。在移动通信中“盲”解决显得格外重要。在移动通信中，由于时变多径衰落会产生很严重的码间干扰。为了得到对的的实时的信息流，就必须对信道的时变特性进行辨识和均衡。虽然有诸多技术，如码分多址访问（Code Division Multiple Access, CDMA）等的发展和应用使得信道的容量增大，但是由于进行辨识与均衡的部分所占的比例仍然很可观。如果我们不使用训练序列，而采用盲信道辨识，从接受信号直接估计信道的特性，就会大大节省信道容量，提高信道容量的运用率。运用盲分离技术可以成功的实现多顾客信号的分离。5. 盲源分离问题的发展方向盲信号分离在近来十几年中获得了长足的发展,提出了若干理论和措施,但是尚有许多问题有待进一步研究和解决,特别是对如下问题的研究:1.源信号个数未知且也许动态变化时的盲源分离问题的研究，涉及源信号个数的有效拟定,观测信号个数比源信号个数多(少)的超(欠)定等问题的研究,特别是有关欠定问题的研究。2.非平稳、非高斯混合信号的盲分离问题的研究。3.目前大多数算法都是在混合矩阵为列满秩的假设前提下完毕的,当混合矩阵不满足列满秩的状况下如何尽量多地去提取源信号。4.带噪声混合信号的盲分离。既有的盲源分离算法和盲反卷积算法,大都假设无噪声或者把噪声看作一种独立源信号。如何将既有的盲分离算法推广到一般的噪声混合模型,是有待于进一步研究的问题。5.各分量的排列顺序和幅值自身存在的不拟定性,如何按顺序输出以及只提取一种或多种感爱好信号的盲分离问题研究。6.多种盲源分离算法的全局收敛性、渐近稳定性以及鲁棒性的研究等。7.卷积混合模型和对于更一般的非线性混合模型盲分离问题的研究较为复杂,有待进一步解决。总之，盲信号解决作为计算智能学的核心研究内容，已经发展成为许多领域研究的重要课题。随着这方面研究的不断进一步，将会有越来越多的实际问题得到解决，也会对神经网络理论和信号解决理论起到积极的推动和增进作用。参照文献【1】李小军,朱孝龙,张贤达.盲信号分离研究分类与展望J.西安电子科技大学学报:自然科学版,.【2】朱茉,季策,于洋.盲信号分离问题的分类和现状J.化工自动化及仪表,.【3】陈锡明，黄硕翼.盲源分离综述问题、原理和措施J.电子信息对抗技术,.