创造力合意共识评量技术课件

創造力合意（共識）創造力合意（共識）評量技術評量技術導讀者：張世彗教授導讀者：張世彗教授台北市立教育大學特殊教育學系台北市立教育大學特殊教育學系創造力合意（共識）評量技術導讀者：張世彗教授發展合意評量技術發展合意評量技術（ConsensualAssessmentTechnique,CAT）的）的主因主因在於在於創造力的共識定義創造力的共識定義、作作者對創造力本質的假定者對創造力本質的假定、及、及對對創造力社會心理學適當方創造力社會心理學適當方法的要求法的要求。發展合意評量技術（ConsensualAssessme選擇適當任務應符合三項要求：選擇適當任務應符合三項要求：1.評量內容須能形成產品或可觀察評量內容須能形成產品或可觀察的反應，適合評量；的反應，適合評量；2.評量內容應是開放的，能引發很評量內容應是開放的，能引發很多變通和新奇性的反應；多變通和新奇性的反應；3.評量內容是令人滿意的，在基線評量內容是令人滿意的，在基線表現上不會產生很大的個別差異，表現上不會產生很大的個別差異，且評量內容不需過分依賴某種特定且評量內容不需過分依賴某種特定技巧。技巧。選擇適當任務應符合三項要求：1.評量內容須能形成產品或合意評量技術在評量合意評量技術在評量程序上有很多要求程序上有很多要求a：1.評判者應具備該領域經驗，但不評判者應具備該領域經驗，但不需一致。需一致。2.讓評判者獨立自主做評量讓評判者獨立自主做評量3.相互比較作品，而非依絕對標準相互比較作品，而非依絕對標準來評定來評定4.隨機鑑賞作品和不同判斷層面隨機鑑賞作品和不同判斷層面合意評量技術在評量程序上有很多要求a：1.評判者應具備合意評量技術在評量程合意評量技術在評量程序上有很多要求序上有很多要求b：5.除評量創造力外，應同時評量除評量創造力外，應同時評量其它層面，至少應評量作品的其它層面，至少應評量作品的技術性，也包括美感評量。技術性，也包括美感評量。然後，就可用來決定主觀評量然後，就可用來決定主觀評量產品的創造力是否與這些層面產品的創造力是否與這些層面有關。有關。合意評量技術在評量程序上有很多要求b：5.除評量創造評量程序最重要的標準為：評量程序最重要的標準為：評定是可信的。就評定是可信的。就定義言，評定者間的信定義言，評定者間的信度等同建構效度。度等同建構效度。評量程序最重要的標準為：評定是可信的。就定義言，評定者藝術創造力的合意評量藝術創造力的合意評量為充分瞭解此項技術是否為充分瞭解此項技術是否能有效評量創造力能有效評量創造力作者實施了運用這種技術作者實施了運用這種技術來評量藝術和語文創造力來評量藝術和語文創造力的研究方案。的研究方案。藝術創造力的合意評量為充分瞭解此項技術是否能有效評量創研究研究1：兒童的藝術的創造力：兒童的藝術的創造力a1.對象和評判者對象和評判者22位女生，年齡為位女生，年齡為7-11歲。所歲。所有女生都採隨機分派。有女生都採隨機分派。15位女生在一組；位女生在一組；7位在另一組。位在另一組。所有女生均來自低社經家庭。所有女生均來自低社經家庭。採用採用心理學家心理學家；藝術類藝術類科教師科教師；藝術家藝術家。研究1：兒童的藝術的創造力a1.對象和評判者研究研究1：兒童的藝術的創造力：兒童的藝術的創造力b2.材料材料所有對象使用材料均相同：所有對象使用材料均相同：有幾種不同大小、形狀有幾種不同大小、形狀和顏色的紙和顏色的紙100張以上、膠張以上、膠水水1罐、卡紙板罐、卡紙板1張。張。研究1：兒童的藝術的創造力b2.材料研究研究1：兒童的藝術的創造力：兒童的藝術的創造力c3.程序程序a都使用長桌，每位有份材料。實驗者都使用長桌，每位有份材料。實驗者負責說明，首先要求製作負責說明，首先要求製作1項藝術設計項藝術設計減少對她們製作藝術設計表現的期望。減少對她們製作藝術設計表現的期望。然後，示範運用膠水將形狀黏到紙上然後，示範運用膠水將形狀黏到紙上的方法，接著讓兒童練習。並告訴她的方法，接著讓兒童練習。並告訴她們可隨意運用所提供的材料，製作藝們可隨意運用所提供的材料，製作藝術設計。術設計。研究1：兒童的藝術的創造力c3.程序a研究研究1：兒童的藝術的創造力：兒童的藝術的創造力d3.程序程序b18分鐘後，要求兒童停止。分鐘後，要求兒童停止。告訴評判者兒童在告訴評判者兒童在18分鐘內完成。分鐘內完成。讓每位評判者獨立評量，使用主讓每位評判者獨立評量，使用主觀的創造力定義，依創意層次觀的創造力定義，依創意層次（非常具創意、有創意、無法決（非常具創意、有創意、無法決定、相當沒創意、非常沒創意）定、相當沒創意、非常沒創意）來評定。來評定。研究1：兒童的藝術的創造力d3.程序b研究研究1：兒童的藝術的創造力：兒童的藝術的創造力e3.程序程序c用幻燈片將用幻燈片將22張設計呈現給張設計呈現給藝術類科藝術類科教師教師，要求他們用同樣方式獨立評量。，要求他們用同樣方式獨立評量。藝術家藝術家則花則花4小時，依不同層面判斷小時，依不同層面判斷這這22項設計。就像其他兩組評判者一項設計。就像其他兩組評判者一樣，要求在評定前先檢查所有設計，樣，要求在評定前先檢查所有設計，然後依然後依23項不同層面來評鑑，並在評項不同層面來評鑑，並在評定表上提供每項層次的定義。定表上提供每項層次的定義。研究1：兒童的藝術的創造力e3.程序c研究研究1：兒童的藝術的創造力：兒童的藝術的創造力f3.程序程序d提供提供藝術家藝術家量表進行每項判斷，量表進行每項判斷，採採5點量表方式，讓評判者在量表點量表方式，讓評判者在量表上依每項判斷以上依每項判斷以表示表示並鼓勵他們利用量表的全部範圍，並鼓勵他們利用量表的全部範圍，在在22項層面中的項層面中的4項（創造力、技項（創造力、技術優點、愛好及天真），要求評術優點、愛好及天真），要求評判者做高中低的判斷。判者做高中低的判斷。研究1：兒童的藝術的創造力f3.程序d研究研究1：兒童的藝術的創造力：兒童的藝術的創造力g3.程序程序e將這些隨機安排的設計提供給每位評將這些隨機安排的設計提供給每位評判者，每個層面也是隨機來判斷。判者，每個層面也是隨機來判斷。事先對評判者描述評定、等級順序及事先對評判者描述評定、等級順序及類別分組任務，然後提供評判者充裕類別分組任務，然後提供評判者充裕時間，協助他們完成時間，協助他們完成過程中，實驗者與評判者一起，檢查過程中，實驗者與評判者一起，檢查判斷是否依合理順序進行，是否符合判斷是否依合理順序進行，是否符合時間限制。時間限制。研究1：兒童的藝術的創造力g3.程序e研究研究1：兒童的藝術的創造力：兒童的藝術的創造力h4.研究結果研究結果藝術家所評判的信度。藝術家所評判的信度。23個層面中有個層面中有16個信度在個信度在.70以上，以上，10個在個在.80以上以上其他兩組評判者間一致性也相當高。其他兩組評判者間一致性也相當高。12位心理學家的創造力等級信度為位心理學家的創造力等級信度為.73；21位教師的創造力評定信度為位教師的創造力評定信度為.88。上述分析可見，不同組別之評判者在上述分析可見，不同組別之評判者在創造力評量間有良好相關。創造力評量間有良好相關。研究1：兒童的藝術的創造力h4.研究結果最後，兒童年齡與任何三組對創造兒童年齡與任何三組對創造力的評判沒顯著相關力的評判沒顯著相關雖然它與藝術家雖然它與藝術家-評判者所評評判者所評定技術性有相關。定技術性有相關。藝術創造力的進一步研究藝術創造力的進一步研究（研究（研究2-13）最後，兒童年齡與任何三組對創造力的評判沒顯著相關語文創造力的合意評量語文創造力的合意評量a研究研究14：運用詩的初期探究運用詩的初期探究語文創造力的合意評量a研究14：語文創造力的合意評量語文創造力的合意評量b1.對象和評判者對象和評判者以以48位美國布蘭帝（位美國布蘭帝（Brandeis）大）大學心理學導論的女生為對象學心理學導論的女生為對象評判者：一是大學英文系研究生；評判者：一是大學英文系研究生；另一為另一為10位麻州詩人，大都是哈佛位麻州詩人，大都是哈佛大學英文所學生，有些未上過大學。大學英文所學生，有些未上過大學。他們的詩都曾出版過。他們的詩都曾出版過。語文創造力的合意評量b1.對象和評判者語文創造力的合意評量語文創造力的合意評量c2.程序程序a提供每位對象提供每位對象20分鐘獨自寫美國分鐘獨自寫美國五行詩。五行詩。初步指導後，提供受試者兩篇美初步指導後，提供受試者兩篇美國五行詩的例子。同時提供受試國五行詩的例子。同時提供受試者詩的第一行：快樂，以降者詩的第一行：快樂，以降低變異性，並讓評判任務更容易低變異性，並讓評判任務更容易語文創造力的合意評量c2.程序a語文創造力的合意評量語文創造力的合意評量d2.程序程序b因評判內容包含閱讀，評判者可獨自工作，因評判內容包含閱讀，評判者可獨自工作，但不可討論詩或評判任務，直到活動完成但不可討論詩或評判任務，直到活動完成評判者先閱讀指示，然後被告知對象有評判者先閱讀指示，然後被告知對象有20分分鐘寫詩。鐘寫詩。評判前，要求評判者讀完所有詩的複本，然評判前，要求評判者讀完所有詩的複本，然後依主觀的創造力定義來評定，並要求相互後依主觀的創造力定義來評定，並要求相互比較，而不是依絕對標準評定。評定量表，比較，而不是依絕對標準評定。評定量表，類似先前，其中有類似先前，其中有3個被標記為低、中、高個被標記為低、中、高語文創造力的合意評量d2.程序b語文創造力的合意評量語文創造力的合意評量e3.結果結果所有評判者間信度是相當高的。所有評判者間信度是相當高的。第一組創造力評判信度為第一組創造力評判信度為.87；第；第二組創造力評判信度為二組創造力評判信度為.90。14項項信度中有信度中有13項為項為.70以上，以上，9項在項在.80以上。以上。語文創造力的進一步研究（語文創造力的進一步研究（15-21）語文創造力的合意評量e3.結果總結主要的發現總結主要的發現a這些研究是設計來測試一種在這些研究是設計來測試一種在不同領域主觀評量創造力的可不同領域主觀評量創造力的可靠方法。這種方法是成功的，靠方法。這種方法是成功的，具下列優點具下列優點A：1.運用主觀評量創造力來獲得高運用主觀評量創造力來獲得高一致性是可能的，即使評判者一致性是可能的，即使評判者未受過任何一致性的方法訓練未受過任何一致性的方法訓練總結主要的發現a這些研究是設計來測試一種在不同領域主這種方法是成功的，具下列優點這種方法是成功的，具下列優點B2.評判者在創造力評定的一致性可評判者在創造力評定的一致性可能取決於評判者間所需努力量的某能取決於評判者間所需努力量的某種程度。種程度。因此，一旦評判任務是特別高要求因此，一旦評判任務是特別高要求的，就可預期會產生評判疲乏和難的，就可預期會產生評判疲乏和難維持一致的標準。維持一致的標準。在此種情況下，在此種情況下，增加評判者人數會是明智的增加評判者人數會是明智的。這種方法是成功的，具下列優點B2.評判者在創造力評定的一致性這種方法是成功的，具下列優點這種方法是成功的，具下列優點C3.針對這些任務，評判者的專業針對這些任務，評判者的專業水準似乎沒有那麼要緊。水準似乎沒有那麼要緊。4.藝術作品的創造力、美感及技藝術作品的創造力、美感及技術性優劣可分割來主觀評判。術性優劣可分割來主觀評判。5.向人描述何謂創造力可能很難，向人描述何謂創造力可能很難，但仍很相當容易且有良好信度的但仍很相當容易且有良好信度的確認創造力。確認創造力。這種方法是成功的，具下列優點C3.針對這些任務，評判者的專業這種方法是成功的，具下列優點這種方法是成功的，具下列優點D6.研究說明合意評量技術可用於研究說明合意評量技術可用於廣泛領域上不同種類的任務。廣泛領域上不同種類的任務。7.創造力評量任務並不全依賴某創造力評量任務並不全依賴某人可能發展較好的特殊技巧。人可能發展較好的特殊技巧。就創造力社會心理學來看，這就創造力社會心理學來看，這特別重要。特別重要。這種方法是成功的，具下列優點D6.研究說明合意評量技術可用於與先前技術的比較與先前技術的比較a1.合意評量技術可視為傳統創造合意評量技術可視為傳統創造力測驗所用技術的概念逆轉。力測驗所用技術的概念逆轉。2.這種技術似乎比許多創造力測這種技術似乎比許多創造力測驗更具驗更具生態效度（生態效度（ecologicalvalidity）。不僅任務模擬真實。不僅任務模擬真實的成就表現，評量技術也模擬的成就表現，評量技術也模擬真實世界創造作品的評鑑真實世界創造作品的評鑑與先前技術的比較a1.合意評量技術可視為傳統創造力測與先前技術的比較與先前技術的比較b3.有些先前使用主觀評量有些先前使用主觀評量方法的研究與合意評量技方法的研究與合意評量技術相似術相似。事實上也獲得類似研究結事實上也獲得類似研究結果，但仍有差異果，但仍有差異。與先前技術的比較b3.有些先前使用主觀評量方法的研究與合意限制與未來可能性限制與未來可能性a合意評量技術有些限制合意評量技術有些限制a：1.此法不實用，相當耗時；此法不實用，相當耗時；2.所選任務不能過度依賴特所選任務不能過度依賴特別能力和經驗相關技巧，對別能力和經驗相關技巧，對確認創造力上持續的個別差確認創造力上持續的個別差異可能就不是有用的方法；異可能就不是有用的方法；限制與未來可能性a合意評量技術有些限制a：限制與未來可能性限制與未來可能性b合意評量技術有些限制合意評量技術有些限制b3.此法可能難用於未知領域的成果此法可能難用於未知領域的成果（如科學革命性理論）（如科學革命性理論）4.此法獲致的評判信度會受歷史時此法獲致的評判信度會受歷史時期與位置所限。期與位置所限。雖然我的初步研究植基於合意評雖然我的初步研究植基於合意評量技術，不過仍需精鍊和延伸量技術，不過仍需精鍊和延伸限制與未來可能性b合意評量技術有些限制b最新情況最新情況aAmabile等人持續使用等人持續使用1983年版年版的創造力合意評量技術進行研的創造力合意評量技術進行研究，發現它是有價值的方法。究，發現它是有價值的方法。1996版與先前版本引用情形相版與先前版本引用情形相同，都是依受試在真實世界常同，都是依受試在真實世界常出現領域所做的真實作品出現領域所做的真實作品。最新情況aAmabile等人持續使用1983年版的創造力最新情況最新情況b:計算信度的新方法計算信度的新方法aAmabile等人原先計算主觀創等人原先計算主觀創造力評量的評判者間信度方法造力評量的評判者間信度方法有有2種，都可產生類似結果。種，都可產生類似結果。不過，由於不過，由於係數簡便，因而係數簡便，因而大都採用大都採用SPSS/PC計算計算係數係數來評估評判者間信度。來評估評判者間信度。最新情況b:計算信度的新方法aAmabile等人原先計最新情況最新情況c:計算信度的新方法計算信度的新方法b最近，最近，Amabile等人基於合意評量目等人基於合意評量目的，認為將評判者考量為隨機效果的，認為將評判者考量為隨機效果可能較佳（原先假定是固定效果），可能較佳（原先假定是固定效果），若根據類別間的相關方法若根據類別間的相關方法（intraclasscorrelation）來評估評來評估評判者間的信度，就可符合此項假定。判者間的信度，就可符合此項假定。實際上，這種方法常產生類似實際上，這種方法常產生類似係數係數的結果的結果。最新情況c:計算信度的新方法b最近，Amabile等人基新的信度研究資料新的信度研究資料1983年版描述兩項創造力評量內容（美術拼貼年版描述兩項創造力評量內容（美術拼貼和五行詩）的信度。和五行詩）的信度。Amabile等人常使用這些等人常使用這些評量內容，且幾乎可獲良好信度。評量內容，且幾乎可獲良好信度。1983年後，年後，Amabile等人又創造許多新評量內等人又創造許多新評量內容。可分成三組：容。可分成三組：語文創造力（故事和其他詩）；語文創造力（故事和其他詩）；藝術創造力（線畫、繪畫、各種藝術媒體等藝術創造力（線畫、繪畫、各種藝術媒體等問題解決創造力（電腦、新高科技服務的方問題解決創造力（電腦、新高科技服務的方案）。案）。此外，研究對象也擴大了。此外，研究對象也擴大了。新的信度研究資料1983年版描述兩項創造力評量內容（美術拼合意評量技術的改變與課題合意評量技術的改變與課題一一.誰是適當的評判者？誰是適當的評判者？1983年前，我們斷定適當評判者是年前，我們斷定適當評判者是熟悉產品領域的人熟悉產品領域的人現在相信多數領域的作品，評判者現在相信多數領域的作品，評判者不需是專家。不過，至少應有些評不需是專家。不過，至少應有些評量內容上的訓練或經驗，如果是多量內容上的訓練或經驗，如果是多數人不精通的評量內容，這個原則數人不精通的評量內容，這個原則就更重要了。就更重要了。合意評量技術的改變與課題一.誰是適當的評判者？二二.任務必要的特徵為何？任務必要的特徵為何？a這類評量內容的特性與先前描述相同。這類評量內容的特性與先前描述相同。不過，先前建議特色之一：評量內容不過，先前建議特色之一：評量內容不應過於依賴任何特定技巧，現在需不應過於依賴任何特定技巧，現在需作些修正。作些修正。因這項建議主要是針對以社會心理學為因這項建議主要是針對以社會心理學為自變項。就範圍言，如果成就表現自變項。就範圍言，如果成就表現上的個別差異是來自原有能力的高低，上的個別差異是來自原有能力的高低，就會使偵測社會心理學的效果變得更困就會使偵測社會心理學的效果變得更困難。難。二.任務必要的特徵為何？a這類評量內容的特性與先前描述相同二二.任務必要的特徵為何？任務必要的特徵為何？b不過，在不過，在3種條件下是可接受的，甚至種條件下是可接受的，甚至建議使用依賴特殊能力的任務：建議使用依賴特殊能力的任務：1.所有受試在領域上有同樣專業程度所有受試在領域上有同樣專業程度2.如果想研究能力對作品創造力如果想研究能力對作品創造力的貢獻的貢獻3.自變項為社會心理學因素，但使用自變項為社會心理學因素，但使用重複量數的設計。重複量數的設計。二.任務必要的特徵為何？b不過，在3種條件下是可接受的，甚至三三.程序的要素是什麼？程序的要素是什麼？a先前認為如訓練評判者創造力評先前認為如訓練評判者創造力評定，評判者間信度將受到質疑。定，評判者間信度將受到質疑。因而，建議不要給評判者特定的因而，建議不要給評判者特定的創造力定義，僅要求評判者使用創造力定義，僅要求評判者使用主觀的創造力定義，來評定每項主觀的創造力定義，來評定每項作品相較於其他作品的創意作品相較於其他作品的創意。三.程序的要素是什麼？a先前認為如訓練評判者創造力評定，評三三.程序的要素是什麼？程序的要素是什麼？b目前相信在多數情境仍是如此，不過可目前相信在多數情境仍是如此，不過可能有特殊狀況（如評估商品技術性發展能有特殊狀況（如評估商品技術性發展的創造力）。的創造力）。另外，先前要求所有評判者應評定所有另外，先前要求所有評判者應評定所有作品，是為確保所有作品相互比較，以作品，是為確保所有作品相互比較，以簡化信度計算，惟有時是無法做到的。簡化信度計算，惟有時是無法做到的。在此情況下，只有使用類別間的相關在此情況下，只有使用類別間的相關來計算評判者間信度。來計算評判者間信度。三.程序的要素是什麼？b目前相信在多數情境仍是如此，不過可能三三.程序的要素是什麼？程序的要素是什麼？e最後，評定作品其他層面之前，評最後，評定作品其他層面之前，評判者應在判者應在1個層面評定所有作品。這個層面評定所有作品。這樣作法是要讓評判者針對特定層面樣作法是要讓評判者針對特定層面主觀標準上維持一致的方法，避免主觀標準上維持一致的方法，避免與不同層面產生混淆。與不同層面產生混淆。惟這種方法在某些情境是不實際。惟這種方法在某些情境是不實際。如，有項研究如，有項研究100篇長篇散文且須篇長篇散文且須評評3個層面個層面三.程序的要素是什麼？e最後，評定作品其他層面之前，評判者應四、受試者內作品的評量四、受試者內作品的評量1983年前，我們並未進行每位受試者超年前，我們並未進行每位受試者超過一項作品的研究。就社會心理學與其過一項作品的研究。就社會心理學與其它研究來說，使用重覆量數設計通它研究來說，使用重覆量數設計通常是有利的，或許最重要的原因是可更常是有利的，或許最重要的原因是可更大範圍的了解個別作品的創造力，而非大範圍的了解個別作品的創造力，而非僅從單一角度。僅從單一角度。我們認為合意評量技巧也可用來進我們認為合意評量技巧也可用來進行受試者內與受試者間的創造力評量。行受試者內與受試者間的創造力評量。四、受試者內作品的評量1983年前，我們並未進行每位受試者五五.創造力是種分離的品質嗎？創造力是種分離的品質嗎？1983年版，獲得創造力評定與年版，獲得創造力評定與技術性或美感評定是無關的或技術性或美感評定是無關的或僅有低相關是可能的。僅有低相關是可能的。雖然分離創造力和其它成果品雖然分離創造力和其它成果品質是可能的，不過實務上創造質是可能的，不過實務上創造力常與其它品質相關。力常與其它品質相關。五.創造力是種分離的品質嗎？1983年版，獲得創造力評定六六.CAT可用於個別差異的評量嗎？可用於個別差異的評量嗎？從近來研究中，發現從近來研究中，發現CAT可用於可用於社會心理及個別差異的創造力社會心理及個別差異的創造力研究。研究。七七.創造力的性別差異創造力的性別差異有時會發現性別差異，通常是兒有時會發現性別差異，通常是兒童。惟此種性別差異在我們的研童。惟此種性別差異在我們的研究中是少見的。究中是少見的。六.CAT可用於個別差異的評量嗎？從近來研究中，發現CA結論結論過去幾年來，研究證實合意評量技術過去幾年來，研究證實合意評量技術是有效的，即使在某些範圍上程序是有效的，即使在某些範圍上程序是不同的，仍可產生可信的創造力是不同的，仍可產生可信的創造力主觀評量。主觀評量。雖然雖然CAT比創造力測驗耗時，不過對比創造力測驗耗時，不過對研究者言，它具更大變通性，也認研究者言，它具更大變通性，也認為可得到更大效度為可得到更大效度。結論過去幾年來，研究證實合意評量技術是有效的，即使在問題與討論問題與討論1.對對CAT有何看法或評論有何看法或評論2.為何要評量創造力呢？為何要評量創造力呢？3.有評量創造力更好的點子嗎？有評量創造力更好的點子嗎？問題與討論1.對CAT有何看法或評論