用冯向军知觉模型实现HARTLEY信息

原创 用冯向军知觉模型实现HARTLEY 信息、香侬信息、复杂度信息、本质信息、KULLBACK 相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一 (待续 )冯向军2006/01/29 于 美国(甲)信息最终要被信息接受者所反映。这就是为什么冯向军要在WEBER-FECHNER的基础上建立起更一般的知觉模型deltaS = a(deltaOS/ OS) + b(deltaOS) (1)这其中a 、 b 为待定常数。OS 为某种客观的刺激；deltaS 为因客观刺激的变化而引发的感官变化；a(deltaOS/ OS) 是因客观刺激的相对变化而引发的感官变化；deltaOS 是因客观刺激的绝对变化(或相对于某种不变的客观标准的变化)而引发的感官变化；通过这些日子的讨论，我已逐步展示确实可以用上述模型来实现HARTLEY 信息、香侬信息、复杂度信息、本质信息、 KULLBACK 相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一。(乙)(1)我们从 WEBER-FECHNER 对数律推导出广义的相对信息的一种一般形式，从冯向军的知觉模型得到了更一般的形式.现在再把视野稍微扩展一点。把U 视为刻划与信息有关的不确定性，复杂性，可区分性 .的某种参数.我们诚恳地认为，几乎所有比较流行的信息测度模式均可归于如下方程、定律、模型(A)RI = log2 (U/Ub) (1-1)(广义相对信息的一种一般形式)(B)REs = p1* log2(U1/Ub) + p2* log2(U2/Ub) +.+ pn* log2(Un/Ub) (2-1)(具有单独可变门槛Ub 的广义相对熵。 )REm = p1* log2(U1/Ub1) + p2* log2(U2/Ub2) +.+ pn* log2(Un/Ubn) (3-1)(具有多种可变门槛的广义相对熵。)(C)WEBER-FECHNER 对数律delta S = a(deltaU/U) (4-1)(D)冯向军的知觉模型delta S = a(deltaU/U) + b(deltaU) (5-1)这其中 U 为描述与信息密切相关的不确定性，复杂性，可区分性 的某种参数， Ub, Ub1,Ub2,.Ubn 为这种参数的可控达门槛。p1, p2, .pn 是一概率分布，p1 + p2 +.+pn =1(2)现举例说明。当 U 为 1/p, 而 p 为符号的概率， Ub = 1/max(p) =1 ，按 (1-1)我们就有RI = log2 (1/p) (1-2)这 RI 就是汉明先生给出的信息的工程定义。当 U 为 张学文玻尔兹曼状态数W ，而 Ub = min(W) =1 ， 按(1-1)我们就有RI = log2 (W) (2-2)这 RI 就是张学文广义集合的一种很好的复杂度。当 U = 1/N ， 而 N 为 N 种可能性， Ub = 1/min(N) = 1 ，按 (1-1)我们就有RI = log2 (N) (3-2)这 RI 就是 HARTLEY 信息。当 Ui = 1/pi, pi 为符号 i 的概率， i = 1 ， 2， ., nUb = 1/max(p) = 1, 按 (2-1) 式就有REs = -p1log2 (p1) -p2log2(p2) -.-pnlog2(pn) (4-2) 这 REs 就是 SHANNON 信息熵。当 Ui = pi, pi 为符号 i 的概率， i = 1 ， 2， ., nUb = 1/n, 按 (2-1)式就有REs = log2 (n) - p1log2 (p1) -p210g2(p2)-pnlog2(pn) (5-2) 这REs就是于宏义先生的风险嫡，我称之为 聚集嫡。(表面两者矛盾，实际上在不 同条件下两者在某种程度上相通。)当 Ubi = 1/pi,而 Ui =1/qi , qi 是另一概率分布,i = 1 , 2,n ,按(3-1)式就有REm = p1log(p1/q1) +p210g(p2/q2) + pklog(pk/qk) (6-2)这 REm 就是 Kullback-Leibler 相对嫡。当U =混淆概率Q(Aj/xi), Ub= Q(Aj),按(1-1)就有鱼罩子广义互信息RI = I(xi, Aj) = log2(Q(Aj反i) /Q(Aj) (7-2)当U =观控隶属域f(I), Ub =任意指定的门槛隶属域fb,按(1-1)就有观控互信息GKI(xi,I) = log2( f(I/xi)/fb ) (8-2)当 pi = p(xi/zk), Ui =Qk(xi/zk), Ubi =Q(xi), 按(3-1)就有鱼罩子广义 Kullback 公式REm = p(x1/zk)log2 (Q(x1/zk)/Q(x1) +p(x2/zk)log2 (Q(x2/zk)/Q(x2) +.+ p(xn/zk)log2 (Q(xn/zk)/Q(xn) (9-2)互信息不过是对广义相对信息 RI求2次数学期望而已。于宏义先生的观控隶属度和我的观控隶属域新公式都能从WEBER-FCHNER感觉模型和冯向军的知觉模型推出.我的本质信息也可以从冯向军的知觉模型推导出来。附录信息嫡的基本数学性质信息嫡的基本数学性质的简单数学证明定理 1.2.1 当 正数 p -0, p*log(p) 0证明：将p*log(p)写成log(p)/(1/p),当p-0用罗必塔法则求导,即有log(p)/(1/p) -( 1/p)/(-1/pA2) -p-0.证毕。定理1.2.2对于两个事件组成的分布，若其中一个事件(符号)的概率为p,那么信息嫡 H = -pLOG(p) -(l-p)LOG(l-p), H 取最大值 1 比特，当且仅当 p = 0.5。当p-0或1 , H取最小值00其中LOG表以2为底的对数。证明：对于两个事件组成的分布，当其中一事件的概率为p,则另一事件的概率为1-p.于是按信息嫡H的定义H = -p*LOG (p)-(1-p)*LOG (1-p)考虑到不等式loge (x) 0均成立，且等号只在x = 1成立，有H -1=H - LOG(2) = p*LOG(1/p) + (1-p)*LOG(1/(1-p) +(p +1-p)LOG(1/2)=p*LOG(1/(2p) + (1-p)*LOG(1/(2(1-p)=lOG(e) p*( 1/(2p) -1) +(1-p)*(1/(2(1-p) -1)=LOG(e) 1/2 -p + 1/2 -(1-p) = lOG(e)1- p-1+p =0所以H 0, 按定理 1.2.1, H=0;当 p-1,按定理1.2.1, H=0.证毕 定理 1.2.3 对于任何 x 0, 恒有 loge (x) 0, 定义函数f = loge(x) -x +1则有df /dx = 1/x -1令df /dx = 0则有极值点x = 1但是，当 x = 1 时二阶导数dA2 f / dA2 x = -1/xA2 0所以 x = 1 是极大值点。有f = loge(x) -x +1 = loge(1) -1 + 1 = 0或loge(x) = x - 1且 等号仅在 x = 1 时成立。证毕 定理 1.2.4 对于 满足x1+x2+.+xq =1;y1+y2+.+yq= 1的两组概率分布xi, i=1,2,.,q以及yi, i = 1,2,.,q恒有x1*LOG(y1/x1) + x2*LOG(y2/x2) +.+xq*LOG(yq/xq) =0且等号只在yi = xi ( i = 1, 2, .,q) 时成立。证明：根据定理 1.2.3 有x1*LOG(y1/x1) + x2*LOG(y2/x2) +.+xq*LOG(yq/xq)=0且等号只在pi = qi ( i = 1, 2, .,k) 时成立。证明：根据定理 1.2.3 有p1*LOG(p1/q1) + p2*LOG(p2/q2) +.+pk*LOG(pk/qk)=-p1*LOG(q1/p1) + p2*LOG(q2/p2) +.+pk*LOG(qk/pk) =- LOG(e) (q1+q2+.+qk) - ( p1+p2+.+pk)= -LOG(e) 1 - 1= 0且 等号仅在pi = qi 时成立， i = 1, 2, ., k.证毕。定理 1.2.6 对于 q 个符号的以比特为单位的信息熵H ，恒有H = LOG(q)其中等号只能在q 个符号具有等概率分布才成立。此时p1 = p2 = .= 1/q, 其中 pi 为第 i 个符号的信息， i = 1, 2, .q 。证明 H -LOG(q) = -p1LOG(p1) -p2LOG(p2) -.-pqLOG(pq) - (p1 + p2+ .+pq)LOG(q)=p1LOG(1/(p1*q) +p2LOG(1/(p2*q) +.+pqLOG(1/(pq* q)= lOG(e)p1( 1/(p1*q) -1) + p2(1/(p2*q) -1) +.+pq(1/(pq*q) -1)=lOG(e)(1 -p1-p2 -.-pq) = (1-1) = 0等号当且仅当p1 = p2 = .= pq = 1/q 时成立。证毕。定理 1.2.7 信息熵 H 给出了唯一可译码的平均码长(L) 的下限，或H = L 。这里等号只有在二元情况才成立。证明：要证明上述定理，就要证明很有意思的 Kraft 不等式：一个具有 q 个符号 si(i = 1, 2, .q) ，码字长为L1 = L2 = . = Lq 的即时码存在的必要和充分的条件是1/rAL1 + 1/rAL2 + + 1/rALq =1.对于最大码长为 1 的即时码，可以用最大长度为 1 的即时树来描述。我们有1 条或两条长度为 1 的支路。所以对于 1 个符号的情况有：1/2 =12 个符号的情况有：1/2 +1/2 =1 。所以对于最大码长为 1 的即时码 Kraft 不等式成立。假定 Kraft 不等式不等式对所有长度小于 n 的树皆成立。那么当树的最大长度为 n 时，第一个节点引出一对长度不超过n-1 的子树，对于子树我们有不等式K1 = 1K2 = 1但是当子树接入主树时所有长度Li 均增加 1。所以在不等式中就增添了系数1/2 。于是有1/2(K1+K2) 0 ， i =1,2,.,n假设 Q1+Q2+.+Qn = 1, 就恒有P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) =P1log(P1/U1) +P2log(P2/U2)+.+ Pnlog(Pn/Un) (1)这是因为 1P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) -( P1log(P1/U1) +P2log(P2/U2)+.+ Pnlog(Pn/Un) )= P1log(Q1/P1) +P2log(Q2/P2) +.+Pnlog(Q2/Pn)= k *( P1n(Q1/P1) +P2ln(Q2/P2) +.+Pnln(Q2/Pn) )=k*( Q1+Q2+.+Qn - P1-P2.-Pn)=k* (Q1+Q2+.+Qn -1) 0, i =1,2,.,n假设 Q1/U1+Q2/U2+.+Qn/Un = 1, 就恒有 P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) =P1log(P1) + P2log(P2)+.+Pnlog(Pn) (1)这是因为 1P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) -( P1log(P1) + P2log(P2)+.+ Pnlog(Pn) )= P1log(Q1/U1)/P1) +P2log(Q2/U2)/P2) +.+Pnlog(Qn/Un)/Pn)= k *( P1n(Q1/U1)/P1) +P2ln(Q2/U2)/P2) +.+Pnln(Q2/Un)Pn) )=k*( Q1/U1+Q2/U2.+Qn/Un - P1-P2.-Pn)=k* (Q1/U1+Q2/U2+.+Qn/Un -1) 0 i =1,2,.,n假设 Q1(V1/U1)+Q2(V2/U2)+.+Qn(Vn/Un) = 1,就恒有P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) =P1log(P1/V1) +P2log(P2/V2)+.+ Pnlog(Pn/Vn) (1)这是因为 1P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) -( P1log(P1/V1) +P2log(P2/V2)+.+ Pnlog(Pn/Vn) )= P1log(Q1V1/U1)/P1) +P2log(Q2V2/U2)/P2) +.+Pnlog(QnVn/Un)/Pn)= k *( P1n(Q1V1/U1)/P1) +P2ln(Q2V2/U2)/P2) +.+Pnln(Q2VN/Un)Pn) )=k*( Q1V1/U1+Q2V2/U2.+QnVn/Un - P1-P2.-Pn)=k* (Q1V1/U1+Q2V2/U2+.+QnVn/Un -1) =0以上三种证明实际上给出了不失一般性的三种具有 “由事实来检验预测 ”功能的广义相对信息。作为第二种证明的一个特例，我可以直接用观控隶属度F(I)的权重W来十分方便地构造具有“用事实来检验预测”的广义相对熵。全然不需要什么 BAYES 公式，也不需要什么背离物理意义的“对称性”数学处理。以事实为基准，让相对信息永远不大于事实所对应的信息。至于事实信息为正为负，那可视具体情况随心所欲地改变(不等式两边同加一个常量) 。我现在随便引入一个具体的观控相对信息熵：GKE = Pllog (W1/P1A2) + P210g (W2/P2A2) +.+Pnlog(Wn/PnA2) (GK -1)Wi 为观控权重， i = 1 ， 2 ， .,n.不难证明GKE = -P1log(P1) - P2log(P2)-.-Pnlog(Pn) (GK-2)右边的事实信息为非负。作 者: Leon 于 2/11/2006 1:02:08 PM 回复 回复 返回按泛系观控的术语，Wi是软概率或主观概率，Pi是硬概率或客观概率。那么我冯向军的GKE公式就是描述主观概率相对客观概率偏差了多少的广义相对 嫡。详见我们的被SCI收录的论文2。参考文献1经典信息理论与工程专题讨论隆重开幕2 Yu Hong Yi; Leon (Xiangjun) Feng; Yu Ran. Pansystems GuanKong technology and information quantization. Kybernetes: The International Journal of Systems & Cybernetics. Year: 2003 Volume: 32 Page: 905- 911.