永福国小教师行动研究Pi-Hsia

按一下以編輯母片標題樣式,按一下以編輯母片,第二層,第三層,第四層,第五層,*,永福國小教師行動研究,Pi-Hsia Hung,2007/09/12,ICT,介入的教學研究,以空間感心智工具介入效益的檢視為例,洪碧霞,國立臺南大學 測驗統計研究所,hungpsmail.nutn.edu.tw,台南市永福國小,2007/09/12,ICT,紀元的教學與評量變革,多元、開放的社會與全球化、標準化的衝擊,民主世代社會成員的價值和想法多元；,資訊通訊科技,（,information communication technology, ICT,）,的環境，重塑地球村的結構。,普遍的開放與尊重、便捷的溝通與分享、,全球化的關懷與競爭 。,個體獲取、選擇、評鑑、運用、分享和創造知識的能力關係著個人和國家的競爭力。,動態調適能力中的情意、動機、人際合作等層面逐漸浮現到教育和評量的檯面。,教育系統如何因應？,與異質群體,互動的能力,互動中,運用工具的能力,自主,行動的能力,反思力,reflectivity,人權,穩定,平權,生產性,社會和諧,科技,多元,流動,責任,全球化,核心能力的理論性成分,社會的願景,生命的需求,成功的生命,健全的社會,DeSeCo,核心能力的參考性概念架構,ICT-based Learning & Testing,知識經濟世代的構成中資訊和溝通科技的日新月異扮演著核心的角色,夾帶著及時,互動,的豐沛潛力，,ICT,已經轉化了學習和測驗的風貌，擴展了學習和測驗的內涵。,互動指的是由科技提供分支的選項和回饋。,動態的作業性質具備如下三項優勢：,(1),提供考生,主動搜尋,並持續處理外來資訊和回饋的可能；,(2),多媒體介面提升問題情境的真實性；,(3),提供問題解決動態歷程或策略紀錄的可能。,Cross-curricula Competencies(CCC),問題解決能力評量,問題解決能力是未來學習、有效參與社會和個人活動成功的重要基礎能力,(OECD, 2002),複雜問題解決,(complex problem solving, CPS),源於,70,年代中期研究人員對傳統智力測驗無法有效預測生活情境問題解決的不滿,CPS,研究多以電腦模擬腳本為主，在實驗室控制情況下，呈現考生分析複雜問題的新工具，並對考生提出比傳統智力測驗更多的作業要求,Frensch,&,Funke,(1995),提到,CPS,通常涉及大量的變項、動態的歷程、界定未明的情境和多重的目標。問題解決者必須能有效關聯、預測可能、簡化資訊、系統檢驗假設並兼顧多項目標的平衡。,Cross-curricula Competencies(CCC),問題解決能力評量,(2),在,CPS,除了需要個體呈現對動態系統辨識與控制的認知能力外，還夾雜著解題調適中情緒層面的監控,就認知和情意統整的企圖而言，,CPS,設計比古典的的問題解決跨越了一大步,PISA,建立電腦化動態評量情境的前導研究,Klieme,(2003),定義問題解決為認知歷程，該歷程包含在缺乏例行解決程序可用情境中目標導向的思考及行動。,真實生活中問題解決所需能力的主要成份像是資訊的,搜尋、結構、表徵和統整；情境模式中的推理；,解題歷程規劃的行動與步驟；執行和評鑑的行動；,持續處理外在的資訊和回饋；充分學習並及時運用新習得策略等。,這類真實問題解決能力中動態的層面的評量自然就需要動態的測驗環境。,這支先導研究探討了部份關鍵議題，他們對初步效度研究的結果尚感滿意，宣稱跨領域問題解決能力的評量在理論構念和評量技術上都已經可以進入大型測驗應用階段,。,問題解決,是個體在,動態,環境中有效推理和行動的能力,情境,層面,虛擬實驗室,Virtual lab,環境模擬,Environmental simulation,遊戲,Game scenario,主動探索,exploration,獲取知識,knowledge,監控策略,regulation,Eckhard,Klieme,(1999),的問題解決能力評量構念,遊戲是由前面的人（著綠色衣服）帶領前進通過這三關，使用者必須進行有系統性及的主動嘗試和探索。,先從起點爬到樹稍，接著按下方的氣球，壓破後釋放出氣體趕走小狼，進入樹洞。,Source：,/,(The Polyphonic Spree - The Quest For The Rest),趁著青蛙吐舌推動花朵之時，跳上第二朵花蕊上。,Source：,/,(The Polyphonic Spree - The Quest For The Rest),爬上蘆葦末稍藉著體重使蘆葦桿彎曲後，連接到洞穴內後綁好，形成一道橋。,Source：,/,(The Polyphonic Spree - The Quest For The Rest),帶領大家通過森林中的小河，完成過關。,Source：,/,(The Polyphonic Spree - The Quest For The Rest),教師行動研究設計,教育研究多元和多次評量的需求,實驗研究法再次受到教育改革政策的重視後，自變項清晰的操作性界定、研究樣本的選取、和依變項評量工具的選擇等層面都成為研究品質評鑑的重要指標。,當以個體為單位的隨機分派無法滿足時，教育現場的準實驗研究，為兼顧特定實驗處理的偵測和學生在相關教育目標的表現，經常需要採用多元評量甚或多次評量來強化研究結果的推論效力。,介入效益依賴有效評量工具的偵測,許多介入研究中薄弱的一環是介入效益評量的品質，研究人員經常花費大部分的時間在介入方案的擬定和執行，相對忽略依變項評量的選擇、研發、或實施時間的安排。,除了介入的設計和控制組的選擇關係著準實驗研究的品質外，依變項資料的適切性更是研究效益彰顯的實徵依據。,教師行動研究設計要項,行動研究人員應重視多元證據的蒐集，以強化準實驗研究的論述能量。,多元評量在行動研究中三角檢証的價值。,以一個空間感教學介入效益的檢視研究為例，說明多元評量和多時間點評量的潛在應用能量。,該研究以電腦化空間感測驗直接偵測實驗處理效益，以電腦化數學能力測驗作為更一般化的數學學習成功指標，同時再以延後測的應用，強化實驗效益的說服力。,教育研究的特殊性,因果推論的資料強度是教育實務科學化革新必要的證據基礎。,實驗研究法在教育現場的實施有相當嚴重限制。因為，以學生為單位進行實驗處理組別的隨機分派，一方面很難取得班級教師的配合，另一方面實驗室般的控制也不一定有利於研究結果的推論。,研究的內、外在效度平衡一直是難解的議題,(,Gersten,Lloud, & Baker, 1999),。以班級為單位的準實驗研究設計常是比較符合教育生態學的務實妥協。,當研究者以班級作為隨機分派的單位時，如果班級間前測成績差異不太大（如小於,0.5,個標準差），那麼以前測為共變數是合理嚴謹的資料分析設計。,依變項評量工具的品質,研究結果的推論大致決定於介入的設計、控制組的選擇和結果變項評量工具的品質。,多數研究人員將全部的研究心力放在教學介入的設計和執行，無暇顧及依變項評量工具的選擇、修訂、或研發。,好的實驗處理更需要好的依變項評量工具，以充分呈現、溝通該實驗的積極效能。,依變項評量工具的品質值得研究人員更費心用力的斟酌。,多元評量的資料蒐集設計,評量多元化的需求源於兼顧,實驗處理的特定知能,和更為,宏觀的重要成就,。,研究人員要呈現介入,標的效益,，同時也要呈現,遷移或類推效益,的結果證據。,多元評量的應用，可以免於偏差性選用工具的爭議，又可以豐富研究結果參考意涵的論述。,與多元評量相關的議題之一是評量時間點的安排，施測時間的安排要合理適切，如果能進行,延後測,的資料蒐集，更可進一步強化研究結果的說服力。,評量工具發展程序,釐清評量結果分數應用的主要,目的和對象,界定所擬評量的,內涵構念,找出代表所評量領域或構念的,行為樣本,選擇適切的題型,準備評量界定細目表,(,上述樣本的結構與比率,),編製評量初步題庫,評量內涵的審查與修訂,預試與修訂,代表性樣本施測,項目分析與刪題,評量工具定稿與信、效度研究,準備評量使用手冊,(,說明評量實施、計分和解釋程序,),評量工具研發注意事項,相關工具的批判要先紮實完成。,界定評量內涵時，教育研究人員宜同時參酌教育目標、介入內容、評量目的、評量對象、和理論文獻等。,評量內涵呈現的方式可兼含文字描述和雙向細目表。,在評量型式的斟酌上，認知測驗經常採用辨識型、建構型或表現評定，學習經驗或態度評量則常採自陳量表方式。,評量形式的決定要在適配，只有適切的形式方能兼顧評量工具的技術品質、評量作業的真實性和評量實施的經濟效能。,新工具的信、效度資訊,alpha,係數是研究人員應例行提供的資訊，新研發工具的內部一致性有時容易偏低，但由於實驗研究所研發工具主要用在實驗組別間差異的比較，而不是個別差異的解釋，鑑於班級平均數的誤差將明顯小於個體的評量誤差，所以,alpha,係數在,.60,左右也算可接受的範圍,(,Nannally, 1994;,Shyadish, Cook, & Campbell, 2002),。,在關聯變項相關組型的聚斂和區別效度的呈現上，教育研究所研發評量工具最常採用的是學校成績，其中段考成績的客觀、明確程度可能優於學期成績。非實驗樣本的同時效度資訊，因為免於實驗的介入，也比實驗樣本的資訊適切。,ICT,介入的研究效益檢核示例,空間感教學介入的效益檢視,空間感實驗教學研究流程,實施時間,項目,組 別,心智工具,實物操作,控制,前測,94/09,數學能力,空間能力,工作記憶,實驗教學,每月一節課,94/10,拼圖操作,七巧板,七巧板,數學教學,94/11,方位記憶,空間城,左右看,數學教學,94/12,立體視野,異位觀點,切切切,數學教學,後測,95/01,數學能力,空間能力,在校國語,數學成績,延後測,95/04,數學能力,空間能力,國小五年級空間感實驗教學,研究樣本男女學生人數分配,性別,組別,合計,男,女,實驗組,心智工具組,實物操作組,17,17,16,17,33,34,控制組,16,16,32,全體,50,49,99,數學能力電腦化測驗題庫雙向細目表,（題數,= 116,，,人數,= 2668,）,內容層次,層次一,(b-1),層次二,(-1b0),層次三,(0b1),合計,數,與,量,數與計算,2,6,7,7,22,量與實測,1,6,3,7,17,數量關係,3 8,19,15,45,圖形與空間,3,5,3,8,19,統計與機率,4,1,4,4,13,合計,13,26,36,41,116,研究樣本學生三次數學能力與,工作記憶、在校國語、數學成績相關,組別,數,1,數,2,數,3,國語,數學,心智工具,(n=32),國語,0.73,0.48,0.43,數學,0.76,0.68,0.64,0.71,工作記憶,0.65,0.66,0.51,0.54,0.46,實物操作,(n=32),國語,0.44,0.38,0.42,數學,0.71,0.64,0.66,0.74,工作記憶,0.56,0.51,0.58,0.50,0.81,控制組,(n=30),國語,0.58,0.38,0.49,數學,0.48,0.19,0.29,0.82,工作記憶,0.52,0.37,0.50,0.70,0.53,電腦化空間感測驗,內涵與難度雙向細目表,難度,內容,一,二,三,合計,旋轉角度,5,2,1,8,幾何關係,1,4,2,7,摺疊透視,2,3,1,6,距離判斷,1,1,2,4,方位座標,1,1,4,6,合計,10,11,10,31,空間感,與在校國語、數學、,自然成績相關係數中數對照表,年級,（班級數）,國語成績,數學成績,自然成績,四（,9,）,.26,.50,.44,五（,14,）,.47,.58,.54,六（,11,）,.39,.61,.51,全體（,34,）,.39,.53,.50,空間感系列心智工具內涵說明,心智工具,設計內涵,七巧板,平面幾何的空間關係與空間定位，包含平移、比對大小、旋轉、配對、分解圖形、合併圖形、組合及系統嘗試等認知運作。,空間城,虛擬環境中空間方位的研判、記憶和系統嘗試，認知負荷循序漸進，由少至多、由易至難、由具體至抽象。,異位觀點,三個不同位置觀察物體視覺經驗上的改變。,空間感實物操作活動設計內涵說明,活動,名稱,設計內涵,教材,七巧板,藉由實物操作七巧板，理解平面圖像組成原素和運作。,色紙、剪刀,學習單,左右看,學生觀察立體物件組合的剖面，內化物體在視覺經驗上的改變原則。,蛋糕、刀子,學習單,切切切,學生切割實物，觀察方位的旋轉和物體剖面構成的改變。,黏土、小方塊,學習單,心智工具組、實物操作組與控制組,各項表現描述統計對照,組別,評,量,心智工具,（,n=33,）,實物操作,（,n=34,）,控制,（,n=32,）,M,SD,M,SD,M,SD,數學,前,0.26,1.12,0.46,0.83,0.60,0.63,後,0.80,0.94,0.89,0.85,0.89,0.81,延後,1.04,0.94,1.22,0.79,1.04,0.88,空間感,前,-0.01,0.73,0.33,0.55,0.41,0.42,後,0.68,0.49,0.70,0.58,0.58,0.36,延後,0.93,0.58,1.07,0.66,0.88,0.43,在校國語,85.5,9.01,86.9,9.90,91.0,8.50,在校數學,76.4,11.8,75.8,15.7,77.9,14.4,空間感,實驗組別空間感進展剖面對照圖,實驗組別空間感斜率對照圖,數學能力,實驗組別數學能力進展剖面對照圖,實驗組別數學能力斜率對照圖,實驗組別,空間感,斜率差異,統計檢驗表,固定效果,預測變項,模式,1,（無條件模式）,模式,2,（實驗組別模式）,係數,SE,t,P,係數,SE,t,P,起始能力（,G00,）,0.258,0.056,4.573,0.000,0.384,0.098,3.919,0.000,心智工具組（,G01,）,-0.319,0.137,-2.335,0.022,實物操作組（,G02,）,-0.053,0.137,-0.388,0.699,成長率（,G10,）,0.362,0.025,14.525,0.000,0.238,0.041,5.775,0.000,心智工具組（,G11,）,0.232,0.057,4.033,0.000,實物操作組（,G12,）,0.131,0.057,2.283,0.025,實驗組別對,空間感,斜率變異,解釋力分析表,變異成份,模式,1,（無條件模式）,模式,2,（實驗組別模式）,變異,比率,估計值,df,x,2,p,估計值,df,x,2,p,起始,0.238,93,438.,0.00,0.224,91,409,0.00,5.5,成長,0.020,93,142,0.00,0.012,91,120,0.02,40,殘差,0.077,0.077,實驗組別,數學能力斜率差異,統計檢驗表,固定效果,預測變項,模式,1,（無條件模式）,模式,2,（實驗組別模式）,係數,SE,t,p,係數,SE,t,p,起始點（,G00,）,0.469,0.090,5.211,0.000,0.627,0.113,5.535,0.000,心智工具組（,G01,）,-0.313,0.221,-1.422,0.159,實物操作組（,G02,）,-0.150,0.185,-0.812,0.419,成長率（,G10,）,0.331,0.032,10.405,0.000,0.220,0.056,3.925,0.000,心智工具組（,G11,）,0.168,0.086,1.966,0.050,實物操作組（,G12,）,0.159,0.066,2.391,0.019,實驗組別對,數學能力斜率,變異,解釋力分析表,變異,成份,模式,1,（無條件模式）,模式,2,（實驗組別模式）,變異,比率,估計值,df,x,2,p,估計值,df,x,2,p,起始,0.692,93,913,0.00,0.692,91,893,0.00,0,成長,0.049,93,190,0.00,0.045,91,178,0.00,8.2,殘差,0.094,0.094,中低數學能力學生空間感、數學能力,成長斜率和工作記憶描述統計,（,n=21,）,最小值,最大值,平均數,標準差,空間感斜率,0.05,0.79,0.43,0.25,數學能力斜率,-0.11,1.62,0.56,0.38,工作記憶,-1.35,0.80,-0.30,0.63,中低數學能力學生空間感成長,對數學能力成長的增益預測力,（,n=21,）,預測變項,相關係數,決定係數,工作記憶,0.18,0.03,工作記憶、空間感斜率,0.49,0.24,結語,輕忽依變項評量工具往往造成介入效益檢視效力的傷害。,重視多元評量和多點評量的可能應用效益。,教育實務進行系統性的改革，因果證據資訊絕對是必要的；準實驗研究的實施是合理可接受的現實。,多元證據的蒐集可實質強化研究結果的說服力和參考價值。,該設計充分展示多元資訊可豐富介入效益的討論脈絡，多點評量更可進階產出比較可靠的成長變項，明顯提升介入效益的能見度。,