资源描述
p貝氏統計學與古典統計學p 主觀機率與客觀機率的關連性p 貝氏統計與古典統計之比較貝氏統計學p在統計學中存在兩大派別,一派稱作古典統計學,另一派稱作貝氏統計學p古典統計學立基於客觀機率,而貝氏統計學則仰賴於主觀機率客觀機率vs.主觀機率p客觀機率:銅板的物理性質。亦即,如果我們把這 枚銅板送到實驗室作檢驗,確定這枚銅板是完全對 稱的(perfectly balanced),根據物理性質,出現正面或 反面的機會將會是一半一半,這就是所謂的客觀機 率p主觀機率代表我們個人主觀的信念,我們相 信這枚銅板出現正面或反面的機會是一半一半 。因此,主觀機率又可以稱作個人機率(personal probability)客觀機率vs.主觀機率p也許你會認為,客觀機率不涉及個人主觀判斷,應該是一個對於機率較佳的詮釋。然而,問題是我們並無法總是有機會獲知任何一枚特定銅板的物理特性。相反的,姑且不論個人判斷能力的好壞,我們總是能夠胡謅一個機率值出來客觀機率vs.主觀機率p一般而言,客觀機率與主觀機率並不相等,然而,在某些特殊的情形下,客觀機率會等於主觀機率p舉例來說,在美國拉斯維加斯的賭場中,所有的賭具都受到政府法令嚴格的控管,因此,如果我們要去玩美式輪盤,我們主觀的信念是,小球落入輪盤中任何一個的機率為1/38,而客觀機率值也是1/38客觀機率vs.主觀機率客觀機率主觀機率物理性質可用統計工具驗證一般而言未知個人主觀信念不需(也不能)被驗證總是能夠胡謅客觀機率vs.主觀機率p我們以 代表客觀機率,以 代表主觀機率p如果我們投擲一枚不公正的銅板,其偏誤率(出現正面機率)為p令Xi=1 代表出現正面,Xi=0 代表出現反面顯而易見地,Bernoulli()p令 代表投擲n 次中,出現正面的次數。試問p既然我們可以從兩種角度來詮釋機率,對於這個問題自然可以有兩種答案1.客觀見解:根據物理性質每次試驗有兩種可能性(正面或反面)I i,j=1,.,n Xi 為i.i.d.p因此,根據 我們知道 為二項分配:是故2.主觀見解:根據個人信念每次試驗有兩種可能性(正面或反面)每次試驗應具有相同的機率值:每次試驗是否獨立?假設我們原有的信念為為了暸解這枚銅板,我們將其投擲100 次,結果發現,出現75 次正面。這個發現將讓我們相信這枚銅板出現正面的機率較大因此,p因此,根據 並非二項分配(not binomially distributed)p根據 ,由於Xi 為i.i.d.,我們可以得到 亦即,在客觀機率的概念下,即使我們已經觀察到75 次的正面,第101 次出現正面的機率依舊是1/22.主觀見解:根據個人信念古典統計學vs.貝氏統計學p古典統計學:立基於未知的客觀機率 且其每次試驗為i.i.d.。雖然我們不知道 ,但是整個古典統計學仰賴此未知的客觀機率與i.i.d.的假設p貝氏統計學:據主觀機率(信念),且在主觀信念下,每次試驗並非獨立。既然每次試驗並非獨立,我們可以藉由過去經驗再塑(update)我們對於下次試驗的信念貝氏統計學的一般性原則對於所關心的隨機事件建構一個適當的客觀機率模型,其中包含了我們所關心的未知參數 對所關心的未知參數形成主觀的信念亦即,對未知參數形成先驗機率在觀察樣本後,根據貝氏法則再塑我們的信念,形成事後機率根據事後機率作出決策例子p在我們以下的討論中,為了避免符號的繁瑣,我們將不區分 與 ,一律以P()示之p至於所應用的機率概念為客觀機率或是主觀機率,則視討論時的上下文而定例子p記憶體製造廠以一特定機器製造DRAM。製造出來的DRAM 品質或為良品,或為不良品p假設由物理性質觀之,此機器以一i.i.d.的隨機過程製造DRAM,該機器每製造一個DRAM,有 的機率會製造出不良品(不良率 為一未知的參數)p最近工廠添購一台新機器,根據我們過去的經驗,對於同型的機器我們已有相當的認識。假設我們知道該型機器有三種可能的不良率:1%(優),3%(普通),以及5%(劣)例子p且根據經驗,機器為優,普通以及劣的可能性分別為0.65,0.30 以及0.05。亦即,有65%的機率我們會買到優質機器,其餘依此類推p在機器試用期,為了決定是否要留下此機器,或是要退貨,身為經理人的你先對機器進行測試。結果發現,在100 個DRAM 中有6 個不良品。試問,在觀察到這組樣本後,你對這台新機器的評價為何?步驟1.建構一個適當的客觀機率模型p令隨機變數Xi=1 代表該機器所製造出的第i個DRAM 為不良品,則對於這個隨機事件的客觀機率模型為:未知p令 根據我們所觀察到的樣本,100 個DRAM 中有6 個不良品,亦即 6p這樣的結果似乎暗示著該機器為劣質機器(不良率為0.05)步驟2.對未知參數形成先驗機率p將我們對於未知參數(未知不良率)的信念以一個隨機變數B 來表示p敘述先驗分配於下表:bP(B=b)優0.010.65普通0.030.30劣0.050.05步驟3.觀察樣本後計算事後機率p根據條件機率,我們可以算出對於任一b 值的事後機率為:p我們必須求出:以及步驟3.觀察樣本後計算事後機率p 來自我們的先驗分配p?別忘了一旦我們確定知道這是台機器的不良率,則此時主觀機率與客觀機率一致p每次試驗將視為獨立。無論看到多少不良品,都不會改變我們的信念p因此,給定B=b,為二項分配b(100,b)p譬如說,B=0.01,步驟3.觀察樣本後計算事後機率p計算p根據總機率法則,步驟3.觀察樣本後計算事後機率p p 先驗機率與事後機率p在觀察到樣本 後,我們評估新機器是普通品質的可能性約略兩倍於它是劣質機器的可能性先驗機率與事後機率p既然樣本呈現100 個DRAM 中有6 個不良品,其樣本不良率為6%,已然非常接近劣質機器的不良率5%,為什麼我們的信念依然認為新機器是普通品質的可能性較高?p理由:我們先驗上的信念認為新機器是劣質的可能性非常低(P(B=0.05)=0.05)。即使我們觀察到的樣本似乎暗示它是劣質機器,由於原有的信念,我們不會馬上修正到相信它就是劣質機器p貝氏統計推論講求在(1)個人先驗信念與(2)觀察到的樣本之間取得一個平衡點事後機率:當樣本數增加pThis suggests a process of learning.貝氏統計推論p根據貝氏統計推論,我們對於第i 個製造出來的DRAM 是不良品的機率評估,P(Xi=1),將會因為觀察到樣本後有所不同p在觀察到樣本之前,我們根據先驗機率:貝氏統計推論p在觀察樣本發現 後,若令 代表給定 下的事後機率:p則可以得到貝氏統計推論p亦即,p也就是說,在觀察到100 個DRAM 中發現6 個不良品後,我們對於第i 個製造出來的DRAM是不良品的機率評估增加了敞開心胸的信念(open-minded beliefs)p一個信念B 是敞開心胸,當nB 是連續隨機變數且n其機率密度函數恆不為零p雖然我們在DRAM 廠的例子中,將B 設為間斷的隨機變數(B=0.01,0.03 或0.05),然而,一般而言,我們如果沒有任何理由排除某一特定不良率,以連續隨機變數來刻畫信念是一個比較好的選擇兩個敞開心胸信念的例子貝氏極限定理p當先驗的信念是敞開心胸的,則p當先驗信念是敞開心胸的,主觀機率會隨著樣本增加而趨近於客觀機率p此外,我們之前就已經討論過,當我們知道真實的參數時,主觀機率與客觀機率將會一致:貝氏統計與古典統計之比較p貝氏統計與古典統計各有其適用之處p一般的看法是:個人決策時適用貝氏統計,提供他人諮詢時,適用古典統計p貝氏統計強調個人的主觀信念,而個人的主觀信念則反映其過去的經驗累積。因此,當你在做決策時需要參考過去經驗時,貝氏統計是一個不錯的選擇p相對的,如果別人不認同你的先驗主觀信念,即使之後的分析再精妙,依然無法使人認同。因此,如果運用統計學的目的是為了提供他人諮詢,或是要據此說服別人,則古典統計就是一個較佳的選擇貝氏統計與古典統計之不同貝氏統計貝氏統計古典統計古典統計基本觀察 未知。根據我的主觀機率評估,一連串的試驗並非獨立,亦即觀察到的樣本不是i.i.d.樣本。未知但是依據客觀機率,一連串的試驗為i.i.d.。基本原理將我對未知參數 的信念以隨機變數B 來表示。以我的觀察信念作為統計分析的基礎。統計分析立基於以上的客觀,不帶任何主觀信念。機率性質主觀機率客觀機率統計分析(a)首先將我的主觀信念以隨機變數B 來表示,形成先驗分配。(b)觀察樣本後,以貝氏法則再塑我對B分配的信念,形成事後分配。(c)最後,利用B 的事後 分配做統計分析。由於一連串的試驗i.i.d.,方式即使我不知道,只要我觀察的樣本夠多,WLLN 提供我猜測 的準度。主要應用個人決策提供諮詢,說服他人
展开阅读全文