调查资料的整理

,*,按一下以編輯母片標題樣式,按一下以編輯母片,第二層,第三層,第四層,第五層,第九章 調查資料的整理,1,第一節 調查資料的接收和編輯,2,一.資料的接收,調查資料的整理計劃應該在研究設計階段就制定好，但真正著手整理是從仍在實施的現場中回收的第一份問卷開始的。因此，如果一旦發現問題，還可以及時地糾正或改進實施的工作。,3,接收調查資料（完成的問卷）工作的要點如下：,認真仔細地管理好資料的收集和問卷的回收工作，要掌握每天完成的問卷數和每天接收的問卷數。,在完成的問卷後面記錄下問卷完成的日期和接收的日期，以便有必要時在分析過程中可對先接收的資料和後接收的資料作比較。,多個專案同時實施時，必須清楚地記錄以下的數值：交付實施的專案數、仍在實施的專案數、已經完成並返回的專案數。,4,每一份返回的問卷都要記錄一個唯一的、有順序的識別號碼，作為原始的文件。,讓所有參與資料整理工作的人員都知道，他們不但負有保證工作質量的責任，還負有保證不丟失任何原始文件的責任。,5,二.資料的檢查,料的檢查一般是指對回收問卷的完整性和訪問質量的檢查。目的是要確定哪些問卷可以接受，哪些問卷要作廢。這些檢查常常是在實施還在進行的過程中就已經開始。如果實施是委託某個資料收集機構去做的，那麼研究者在實施工作結束後還要進行獨立的檢查。,6,要點是：,規定若干規則，使檢查人員明確問卷完整到什麼程度才可以接受。例如，至少要完成多少，哪一部分是應該全部完成的，哪些缺失資料是可以容忍的等等。,對於每份看似完成了的問卷都必須徹底地檢查，要檢查每一頁和每一部分，以確認調查員（被訪者）是按照指導語進行了訪問（回答）並將答案記錄在了恰當的位置上。,7,三.資料的校訂,檢查不滿意的答案,為了增加準確性，對那些初步接受的問卷還要進一步地檢查和校訂。校訂的工作通常包括檢查問卷，找出任何屬於下列情況之一的答案：,(1),字跡模糊的,(2),不完全的,(3),不一致的,(4),模棱兩可的,(5),分叉錯誤的,同時對這些不滿意的答案作出適當的處理決定,。,8,2. 處理不滿意的答案,下一個問題是如何處理不滿意的答案，通常有三種處理辦法：,(1) 退回調查現場去獲取較好的資料,(2) 按缺失值處理,(3) 整個問卷（被訪者）作廢,9,不過，不滿意的問卷與滿意的問卷之間一般都會有差異，而且將某份問卷（某個被訪者）指定為不滿意的問卷也可能是主觀的。上述這兩個因數都會使資料產生偏差。如果研究者決定要扔掉不滿意的問卷，應該向客戶報告識別這些問卷（被訪者）的方法和作廢的數量。,10,第二節 調查資料的編碼和輸入,11,一.事前編碼(Pre-coding),資料編碼就是給每一個問答題的每一個可能答案分配一個代號，通常是一個數值。編碼可以在設計問卷時進行，也可以在資料收集結束以後進行，分別叫事前編碼和事後編碼。,12,如果問卷經過適當的組織和構造，那麼大多數問答題都會是“有結構的”，以致大多數的答案都會落入事先確定的類別中。此外，事先編碼的問卷通常是將每個答案的對應值印在問卷上，資料檔案用的記錄格式常常放在最右邊或放在某處的括弧內。以下的部分問卷給出了一個事先編碼的格式：,13,上述例子不但指示了問卷設計的方法，還說明大多數編碼工作都幾乎是很容易在調查實施的同時進行的。在許多情況下，為了簡化，表示列位置的括弧內的數位是省略的。因為列位置可以在資料輸入時才規定，或採用自由格式輸入。,14,二.事後編碼(Post-coding),事後編碼指的是給某個沒有事先編碼的答案分配一個代碼。通常需要事後編碼的有：,封閉式問答題的“其他”項,開放式問答題,15,類似資料的檢查工作，此處也需要一份空白的“參照問卷”，用於指示需要考察和編碼的專案。將這些專案用紅筆圈出，以避免編碼員遺漏。,16,下表給出了IEM8 30國世界環境意識調查（針對第一個記錄）的部分內容（調查實施地點為中國大陸）。,17,三.資料輸入(Data transferring),資料輸入指的是將問卷或編碼表中的每一專案對應的代碼讀到磁片、磁帶中，或通過鍵盤直接鍵入電腦中。在科技時代，資料的收集常常是採用CATI或CAPI進行的，因此鍵盤輸入就不再需要。此外，還可以利用特殊的Mark Sense Forms、光學掃描等方法來讀取資料。,18,為了保證高度的準確性，有必要對輸入的結果進行核查以發現是否有錯誤。全面的核查(verification)要求每一個個案都必須輸入兩次，採用一台核查機和兩個輸入人員。第二個輸入人員將編碼的問卷重新再輸入一遍。兩個人輸入的資料要進行逐個個案的比較，如稍有不同，輸入的錯誤就會被檢測出來。,19,四.資料淨化(Data cleaning),資料淨化的重要性遠遠高於一般人的想象。如果資料不“乾淨”，會發生兩方面的嚴重問題。首先，很有可能無法適當地執行下一步的資料分析，因而報告呈交的時限也將被嚴重地推遲。其次更糟的是，資料分析和報告已經完成，但是研究人員並沒有意識到裏面的許多錯誤。,20,資料淨化主要是盡可能地處理錯誤的或不合理的資料以及進行一致性檢查。雖然在資料的校訂階段已經進行了初步的檢查，但是因為這個階段採用的是電腦，因此檢查會是更徹底更廣泛的。,21,經常使用,有時使用,很少使用,根本不使用,非常熟悉,51,45,18,12,比較熟悉,43,32,46,63,有點熟悉,44,151,聽說過但完全不熟悉,208,從未聽說過,2,120,表9-2 例示用交叉表尋找邏輯上的不一致,22,第三節 調查資料的統計預處理,23,一.缺失資料的處理,在許多情況下，小量的缺失回答是可以容忍的。但是如果缺失值的比例超過了10，就可能出現嚴重的問題。處理缺失值主要有四種方法：,用一個樣本統計量的值去代替缺失值,用從一個統計模型計算出來的值去代替缺失值,將有缺失值的個案整個刪除,(list-wise),將有缺失值的個案保留，僅在相應的分析中作必要的排除,(,paire,-wise),24,二.加權處理,在市場研究中，加權處理是比較常用的。其主要的兩個目的是為了使樣本更具有代表性，或為了強調某些被訪者群體的重要性。,25,在加權處理時，要給資料庫中的每一個個案或被訪者以一個權重，用於反映其相對於別的個案或被訪者的重要性。加權處理的效果是在具有某些特徵的樣本中增加（權重1）或減少（權重1）個案的數量。,26,表9-3 通過加權處理使樣本更具代表性,年齡,樣本(),母體(),權重,1519,14.0,8.6,0.61,2029,58.0,24.9,0.43,3039,23.0,25.5,1.11,4049,2.8,13.9,4.96,50或以上,2.2,27.1,12.3,合計,100.0,100.0,27,三.原始資料或變數的轉換,在進行資料的統計分析之前，常常需要將原始資料重新分類、重新編碼，或重新定義變數、修改變數。,28,對於以下兩種情況，有必要將原始資料重新分類或重新編碼：,需要將資料分成更有意義的類別,需要將資料合併成更少的幾個大類別,29,第四節 資料統計任務書的制定,30,一.任務書的內容,在市場調查的總體方案設計書或計劃書中，可能已經給出了資料處理和分析的計劃。,但一般來說，總體方案中給出的計劃只是原則性的或概略的，不是操作性的。,專案主管或分析師應該將資料處理和統計分析的具體要求詳細地列出，以使程式設計者明確其所需完成的全部統計工作。,稱這份詳細地列出全部必須的統計工作的可操作的清單為統計任務書。,31,變數標識和變數值標識的編制,在資料輸入階段，對變數一般可能只用字母和數位來表示。,所需完成的基本統計數表,市場調查中，向客戶提供的最基本的統計數表一般是兩部分：首先是所有問答題（變數）的頻數表；,其次是反映被訪者背景資料（如性別、年齡層、教育程度、收入範圍等）的變數與所有其他問答題（變數）的交叉分析表,所需完成的統計圖的形式和數量,所需完成的基礎統計分析,所需完成的高等統計分析或模型,32,二.選擇統計方法的原則,任務書的制定離不開一系列的統計方法。目前資料的統計一般都採用現成的統計軟體，軟體中可供選擇的統計方法是十分豐富的。選擇時一般要考慮以下幾個方面：,33,1. 研究目的和研究的性質,在制定統計任務書之前，必須再次認真地參考調查專案的總體方案設計的計劃書，明確該項研究的主要目的是什麼，客戶所面臨的經營決策問題是什麼，本專案所研究的主要問題是什麼，在研究設計中有哪些待檢驗的基本假設等等。,研究的性質不同，所選擇的方法也會很不相同。顯然，學術性的研究和商業性的研究、描述性的研究和預測性的研究，適用的任務書會有很大的差異。,34,2.研究方法和資料的性質,研究方法不同，所採用的統計分析方法也會有所不同。例如對隨機的大樣本資料和對小樣本的實驗資料、對按不等機率抽取的樣本資料和對等機率樣本的資料，選擇的分析方法都會有各異。,此外，問卷中使用的量表和本章前面部分所述的資料整理方法都將影響資料的性質，從而影響到統計方法的選擇。例如，處理類別變數、順序變數和等距變數的統計方法顯然是大不相同的。,35,3.統計方法的作用和性質,在選擇統計方法時還應充分理解各種方法的適用場合、應用目的、解決問題的性質、必須滿足的假定或前提等等。例如有些統計方法適用於考察不同群體間是否存在顯著的差異，有些則適用於研究變數間的聯繫緊密程度，有些用於分類，有些用於簡化資料，還有些特別適用於進行預測。有些方法需要假定變數服從常態分佈，有些要求樣本是獨立同分佈的，也有些方法並不需要任何的前提或假定。,36,4.研究者和客戶的背景,專案研究主管的專業背景、工作經歷和處理問題的習慣也影響到統計方法的選擇。經過嚴格的統計訓練並富有經驗的研究者，往往會選用多種不同的方法來處理各種不同的問題，甚至會採用一些高等的統計方法來深入地研究和挖掘資料中存在的豐富資訊。有些研究者會對所研究的變數或總體作一些合理的假定；但有些研究者可能不願意這樣，他們也許寧願保守一些，因此可能選擇不需要對分佈有前提假定的方法，例如無母數方法等。,37,三.常用統計方法的分類,常用的統計方法可以按單變數分析和多變數分析分成兩大類。單變數分析也稱之為基礎統計分析法，適用於樣本中的一個單位只有一個度量值，或雖有幾個度量值，但每一個度量都是按一個變數單獨地進行分析的情況。,38,表9-5 常用基礎統計分析法（單變數分析）,類別變數,等距（順序）變數,單個樣本,兩個或以上樣本,單個樣本,兩個或以上樣本,獨立樣本,配對樣本,獨立樣本,配對樣本,頻數分析法,卡方檢驗法,符號檢驗法,Z檢驗法,Z檢驗法,T檢驗法,卡方檢驗法,W檢驗法,馬克紐摩檢驗法,T檢驗法,T檢驗法,K-S檢驗法,單因子變異數分析,39,表9-6 常用多元統計分析法（多變數分析）,對稱性技術（不含因變數）,非對稱性技術（含有因變數）,變數間的互相依存關係,變數或物件間的相似性,一個因變數,一個以上因變數,主成份分析法*,聚類分析法,多維列聯表,多元變異數協,方差分析法 *,因素分析法,多維偏好分析,變異數分析法,典型相關分析法 *,對應分析法,多重迴歸分析法,多元迴歸分析法 *,多維尺度分析法,兩組判別分析法,多組判別分析法,對數線性模型 *,結構方程式模型 *,變異數協,方差分析法 *,結合分析法,40,