大学英语形成性评价系统英语学习策略分析系统软件操作培训

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二层,第三层,第四层,第五层,*,大学英语形成性评价系统,&,英语学习策略分析系统软件操作培训,研修班时间,大学英语形成性评价系统：,2007年4月7日星期六9：00am4：00pm,英语学习策略分析系统,2007年4月14日星期六9：00am4：00pm,地点,北京交通大学思源楼,参加人员：监艳红，任雁，李国英，,王雪蕾，郭晶,English Formative Assessment System,EFAS,在大学英语教学评估中的应用,中央教科所,中国教研网,教研管理评价研究部,专题讲座,中国教研网 :/,主办：中央教育科学研究所教育与人力资源部,目 录,一、工程概述和数据流程,二、ECAS功能、特点与举例 。,利用?大学英语课程教学要求?推荐 “评估表 格式为标准，输入学生自评，学生互评和教师评估数据，把对英语能力掌握程度的定性描述，转化为定量描述的评估分数呈现。,三、学生开展性评价的原理及实现方法,把大学英语四、六级考试的分析方法移植到学校中来，对教学过程中的测验数据进行评估和定量分析：,建立“学校数据常模作为“尺度常模参照标准 以“个体内差异评价方法，对学生或团体进行自身的纵向比较及各学科之间的横向比较 实现对学习过程中语言应用能力开展情况的检测。,四、EFAS的主要特点,1. 分析与评估内容的全面性,2. 分析与评估方法的多样性,3. 记分体制与报道方式的多样性,4. 建立“学校常模作为评价标准,5. 以“历史档案实施开展过程监测评估,6.全面使用教育测量、统计方法,五某次测验数据全面分析大外部、教研室应用,六学生成绩定位和开展变化追踪教师个人应用,七语言教学研究中的推断统计分析,1推断统计学的范畴与语言学应用,2标准格式测验数据的分析,A两个样本平均数差异的 t 、Z 检验 教学效果的检验,B两个样本频数差异的2 检验 教学效果的分析,C三个以上样本平均数差异的 F 检验方差分析 教学效果的检验,D相关分析 总分、听力、写作之间的相关程度,E线性回归 总分、听力、写作之间的一元和二元线性回归,3其他格式实验数据的分析,文秋芳教授的“英语专业大学生学习情况调查表分析举例,八、与通用统计软件SPSS功能的比较,项 目 概 述,教学评估是大学英语课程教学的一个重要环节。全面、客观、科学、准确的评估体系对于实现课程目标至关重要。它既是教师获取教学反响信息，改进教学管理，保证教学质量的重要依据，又是学生调整学习策略、改进学习方法、提高学习效率的有效手段。,如何把语言测试、形成性评价与终结性评价相结合，建立全面的、多样化的大学英语教学测试与评估体系，加强对学生在学习过程中语言应用能力开展情况的检测，实现对教学全过程的整体监控和评估，是大学英语教学改革的重要课题。,“大学英语教学改革论证报告摘要 “大学英语课程教学要求工程组,三、 大学英语教学改革的指导思想,7、 完善现有的测试与评价体系，尤其要重视形成性评价，加强对学生在学习过程中语言应用能力开展情况的检测，建立多样化的评价体系，充分发挥其引导大学英语教学改革的作用。,大学英语形成性评价体系的组成,课堂评估,口语测试,平时表现,测验考试,能力评估,10%,10%,10%,10%,60%,大学英语教学,过程数据,评估中普遍存在的问题,“行为表现评估的体系与方法尚未构建成熟和完善；,尚未开展教学过程中各项语言应用能力开展的检测；,评价方法单一，语言测试及分析的科学方法普及率较低，缺乏对形成性评价理论、方法的研究；,评价工具滞后，缺乏对评价工具的研究和开发；,因此，教学过程中的评估、测试数据往往没有进行系统的统计、分析和建立档案，大量的信息被浪费或丧失，较大地消弱了评估、测验或考试对教学过程应该具有的诊断、反响和促进作用,我们针对本课题研制的工程成果，主要包括：,1. ?大学英语能力评估 ECAS ?,利用?大学英语课程教学要求?推荐的评估表，完成“学生自我评估，学生相互间的评估，教师对学生的评估。,2. ?大学英语形成性评价 EFAS ?,教学过程数据的测量、管理与综合评估，特别是“学生学习过程中语言应用能力开展的检测。,3. ?测验质量分析 WMAS ?,测验和测题的评价方法及计算过程，如测验信度、测验效度、测题难度和测题区分度。,大学英语形成性评价系统培训内容,一、,系统试用注册和软件狗的安装,二、能力评估,ECAS,操作,三、,EFAS,数据的格式要求,四、,EFAS,数据分析操作,五、,EFAS,在大学英语教学评估中的应用,一、,系统试用注册和软件狗的安装,1,、系统试用注册,开始菜单,：,大学英语形成性评价,Register,2、,软件狗的安装,系统工作目录,：Instdrv,二、,能力评估,ECAS,操作,1、用Excel,格式,标准评估表输入数据,工作目录：原始学生评定表A举例,标准空原始学生评定表A、B、C,2、设置量化与分数合成条件,3、导入自评互评Excel,文件,4、自评互评分类汇总,5、教师评估操作,6、分数统计汇总,7、输出评估分数,ECAS,功能、特点与举例,利用? 大学英语课程教学要求?推荐的“评估表格式输入教师评估、学生自评或学生互评数据，把对英语能力掌握程度的定性描述，转化为定量描述的评估分数呈现。,主要特点：,A. 以? 课程教学要求?推荐评估表为标准；,B .方便快捷输入原始数据；,C .灵活设置量化与分数合成条件；,D .自动完成量化与分数合成操作。,例,2.1,基于校园网的英语能力评估网站,例,2.2,从网站后台下载能力评估文件,例2.3导入评估,Excel,文件,例,2.4,灵活设置量化与分数合成条件,例,2.4,查询输出评估分数,例,2.5,能力评估等分数合成为学期总评,三、EFAS中的,教育测量与评价原理,一EFAS的数据流程,二大学英语四、六级考试数据处理方法,三常模参照评价和“数据常模,四导出分数转换分数,五正态化标准分的意义,六个体内差异评价的工具,ECAS + EFAS,数据流程,处理过程与功能,全校数据,学校常模表,学生成绩,百分等级变化,历史档案,标准分变化,分数转换、百分等级化、,标准正态化、建立数据常模,测量原始数据,尺度,常模参照标准,比较、定位、统计、分析,发展变化过程监测,发展变化过程评价,某次测验分析结果,保存历史档案,个体内差异评价,表格图形,推断分析,能力评估,测验考试,大学英语四、六级考试数据处理方法,处理过程与功能,机器阅卷,加权处理,分数正态化,统计分析,成绩报道,分数转换、百分等级化、,标准正态化、建立数据常模,比较、定位、统计、分析,IRT,等值处理,作文分调整,对语言能力不同局部的要求,对不同教学目标的侧重,滤除不同考次间题目难易变化对得分的影响,通过调整以滤除阅卷员主观因素的影响,“常模测验的评价标准,某一个测验分数必须与统一的标准进行比较才能确定其优劣，这个可供比较的标准就是常模。常模表以等值表的形式将原始分数与导出分数之间的对应值表示出来。在常模表中，我们可为某个被试的原始分数寻找到它在常模团体中的相对位置。,大学英语四、六级考试建立重点6校数万名学生常模作为评价比较标准。本系统采用完全相同的方法，建立每次考试的“学校常模，作为本学校的“尺度相关常模参照标准。,导出分数与正态分布对应图,考试评价的根底知识评价基准,目标参照性评价,“评价标准在被评价的集体之外，是预先制定的。通过与评价标准相比较，可以确定被评价对象到达目标的程度。这种评价又称绝对评价，主要用于合格性和达标性的考试。 “其特点是评价标准是由目标所决定的绝对标准。评价时，个体只与标准相比较不进行相互比较。,目标参照性考试评价通常采用原始分数预先制定教学目标，如“优秀、“良好、“及格 等分数线，量化指标为相应的“优秀率、“良好率、“及格率、等。,考试评价的根底知识评价基准,常模参照性评价,“评价标准在被评价的集体之内，通过与评价标准相比较，可以确定被评价对象在集体中所处的位置，以分优劣。这里的被评价的集体也称为常模团体。这种评价又称相对评价，主要用于选拔性的考试。“其特点是评价标准随被评集体的状况而异，仅适用特定的被评集体。,常模参照性评价采用导出分数百分等级分数、标准分数和常模表由原始分数和导出分数共同组成的分数量表作为评价工具。在特定的团体内进行“名次排序 的分析也可归到本类评价的范围。,考试评价的根底知识评价基准,个体内差异评价,常模团体内，对每个个体或小团体，如学校或班级进行今昔比较不同测验之间或个体诸侧面不同科目之间进行比较所作出的评价称“个体内差异评价，是常模参照性评价应用的优势领域，是考试评价改革中实施“开展性评价的重要工具。,“个体内差异评价要用导出分数百分等级分、正态化标准分进行比较。假设用原始分数对今昔或各侧面进行比较，就会与评价的定义相背离，失去评价的意义。因为它既没与绝对标准相比较，也没与他人相比较，而且没作出价值判断。 详见57-68,考试评价的根底知识评价基准,个体内差异评价,常模团体内，对每个个体或小团体，如学校或班级进行今昔比较不同测验之间或个体诸侧面不同科目之间进行比较所作出的评价称“个体内差异评价，是常模参照性评价应用的优势领域，是考试评价改革中实施“开展性评价的重要工具。,“个体内差异评价要用导出分数百分等级分、正态化标准分进行比较。假设用原始分数对今昔或各侧面进行比较，就会与评价的定义相背离，失去评价的意义。因为它既没与绝对标准相比较，也没与他人相比较，而且没作出价值判断。,导出分数,通过测验所直接得到的分数，叫原始分数。“原始分数本身意义甚小，因为仅从个别学生的原始分数，我们无法了解他学习成绩的好坏，知识能力的上下，也无法与其他学生相互比较。,“由于各个测验的难度不同，各原始分数的价值也不相同，不同测验的原始分数不能进行直接比较。,“为了使原始分数本身具有意义，使不同测验的原始分数可以相互比较，就必须把它们转换成导出分数。所谓导出分数就是经过统计处理过的，具有一定参照点和单位的、可以比较的分数。,“在教育测验中常用的导出分数有百分等级分数和标准分数。,教育测量根底知识测验分数的解释和转换,百分等级分,一个原始分数不能说明它在全体分数中的位置。百分等级分是一种相对地位量数，它把参加测验的全体人数作为100分来计算，从而以某一原始分数换算出其在全体中的位置。,百分等级分的优点：它能十分直观、准确地表示某原始分所在的百分位置；“同一个被试在不同测验的百分等级可以进行相互比较；“不同的被试在同一个测验上的百分等级可以进行相互比较。,百分等级分的缺点：它是一个循序量数，“仅能表示被试测验成绩的好坏和位次，不能进行加减乘除运算，给进一步的分析带来了困难。,教育测量根底知识测验分数的解释和转换,百分等级分变化表的应用,某学生的百分等级分变化表单位：%,84,60,76,76,90,90,76,89,79,第,5,次,80,52,75,73,89,81,77,88,76,第,4,次,83,58,76,76,95,84,78,87,79,第,3,次,82,57,77,75,90,83,77,90,77,第,2,次,81,56,75,74,91,82,76,91,78,第,1,次,翻译,口语,完形,词汇,写作,综合,阅读,听力,总分,考 试,“个体内差异评价的量化指标和工具,线性标准分,标准分,Z,的计算公式为：,式中，,为第,i,个学生的原始分， 为平均分数，,S,为标准差。,标准分数是一个以平均值为参照点、以标准差为单位、测量原始分数与其平均分数的距离的量数，可以表示一个原始分数在团体中所处的相对位置。,不管原始分数的平均分、标准差如何，相同的标准分表示在分布中处于同样的相对位置。,教育测量根底知识测验分数的解释和转换,标准分的其他形式,为使标准分更符合我们沿用百分制的记分习惯，可将标准分Z转化为另一种标准分T，其计算公式是：,T = 10Z+50,大学英语四、六级考试使用的标准分有“SCO和“TotSCO。,标准分SCO的计算公式是：,SCO = 12Z+72,TotSCO的计算公式是：,TotSCO = 70Z+500,教育测量根底知识测验分数的解释和转换,线性标准分的优点和缺点,线性标准分的优点：“如果几个不同测验的分布形态是很相近的，那么，同一个被试在几个不同测验上的线性标准分数，可以相互比较，“可以将一个被试几个不同测验上的线性标准分数相加求和。即通常所说它具有的“可比性和“可加性，可以直接进行合成运算。,线性标准分的缺点：“当两个测验的分布形态不同时，它们的线性标准分既不可以相互比较，又不可相加求和。,教育测量根底知识测验分数的解释和转换,正态化标准分非线性标准分,不同测验的线性标准分“只有在分布形态相同或相近的情况下才能进行比较，如果两个分布的形态不同，譬如一个是正态，一个是负偏态，那么相同的Z 分数可能代表不同的百分等级。对于这样的两种分数，我们难于做到准确地比较，。“当两个测验的分布的形态不同时，它们的线性标准分既不可以相互比较，又不可以相加求和。,“为了使不同的测验分数可以相互比较，那么需将之正态化，即使用进行过非线性转换的正态化标准分。,参考文献 王汉澜著：?教育测量学? 王孝玲编著：?教育测量?,教育测量根底知识测验分数的解释和转换,负偏态分布正态化原理图,非线性转换的结果是把偏态分布强制扭转成为标准正态分布形态。转换生成的正态化标准分消除了分布形态的影响，才具有真正意义的“可比性和“可加性，为科学、准确地对不同测验的分数进行比较和分析奠定了根底。,教育测量根底知识测验分数的解释和转换,导出分数与正态分布对应图,标准分变化率,正态化标准分的应用，为不同的测验分数进行相互比较奠定了根底。,为了在教学过程中对被试学生或团体进行自身的纵向比较，定量地计算测验成绩提高或降低的水平，通常使用“标准分变化率指标：,标准分变化率,=(本次分数初始分数)/ 初始分数 100%,进行团体评价时，“标准分变化率进行的是自身的纵向比较，完全排除了“生源对评价的影响。,“个体内差异评价的量化指标和工具,标准分评价表的应用,某班级,5,次测验的总分标准分,SCO,评价表,+ 0.58%,+ 0.3,52.4,第,5,次,- 0.58%,- 0.3,51.8,第,4,次,+ 1.73%,+ 0.9,53.0,第,3,次,+ 1.15%,+ 0.6,52.7,第,2,次,0,0,52.1,第,1,次,SCO,变化率,SCO,变化值,标准分,SCO,测 验,“个体内差异评价的量化指标和工具,三、,EFAS,数据的格式要求,1、表名称：sheet1,2、保存格式：“Microsoft Excel 97 &5.0/95 工作簿以上,3、KH编码：6位，JS编码：4位,添加数据模块AddExcelData实验 在“读卡机成绩表中添加数据,一数据准备,1、翻开工作目录中的“04级新视野成绩表举例；,2、另存为“读卡机成绩表，删除其中的列：XM、JS、KM5、KM6、KM7、KM8；,3、另存为“添加成绩表，删除其中的列：ZF、JS、KM1KM4。,二合成两个成绩表,1、分别导入 “读卡机成绩表 和“添加成绩表 ；,2、执行“合成成绩表向导；,3、执行“查询输出成绩表；,4、推荐：在“Access中复制“合成成绩表，粘贴到Excel中。,四、,EFAS,数据分析操作,一系统设置,二建立文件的6个步骤,1、导入Excel表,2、生成学校常模表,注：分析局部数据时，应利用已生成的学校常模表复制SystemSet.mdb，不再执行生成全学校常模表的操作。,3、生成班级名称表兼检测KH错误,4、生成教师名称表兼检测JS错误,5、统计汇总向导,6、保存历史档案,三查询输出、推断统计、开展评价,EFAS,主要,特点,一分析与评估内容的全面性,二分析与评估方法的多样性,三记分体制与报道方式的多样性,四建立“学校常模作为评价标准,五以“历史档案实施过程监测评估,六全面使用教育测量、统计方法,EFAS主要特点一, 分析与评估内容的全面性,分析与评估的内容包括：,A . 学生个体成绩；,B . 班级指标；,C . 教师指标；,D . 全校专业或院系总指标。,根据原始数据表包含数据范围不同，软件可以分别在“全校大学英语部、“教研室、“专业或院系、“教师四个层次灵活地使用。,EFAS主要特点二, 分析与评估方法的多样性,分析评估的方法包括：,A . 标准参照性评价；,B . 常模参照性评价；,C . 个体内差异评价。,可以灵活地适应“终结性评价与“过程性评价等不同的应用需求。,多种评价方法的结合，可以充分发挥各自的优势和特长，又能互相弥补其缺陷和缺乏，从而使评价的结果更加全面、客观、科学和公正。,EFAS主要特点三,记分体制与报道方式的多样性,分数报道的方式包括：,A . 原始分数；,B . 导出分数或称转换分数；,a . 百分等级分；,b . 正态化标准分：TotSCO、SCO、Z、T。,只有采用正态分制，才能够实现：考生成绩与总体的比较、不同考次之间的比较、团体之间的比较、不同科目之间的比较。因此考试结果能提供大量反响信息，成为评估决策的依据。,例,3.1,学生成绩八种报道格式,EFAS主要特点四,建立“学校常模作为评价标准,某一个测验分数必须与统一的标准进行比较才能确定其优劣，这个可供比较的标准就是常模。常模表以等值表的形式将原始分数与导出分数之间的对应值表示出来。在常模表中，我们可为某个被试的原始分数寻找到它在常模团体中的相对位置。,大学英语四、六级考试建立重点8校数万名学生常模作为评价比较标准。本系统采用完全相同的方法，建立每次考试的“学校常模，作为本学校的“尺度相关常模参照标准。,EFAS主要特点五,以“历史档案实施过程监测评估,系统建立了学生成绩的“历史档案，全面记录历次考试中学生个人成绩、团体班级和教师指标的详细数据。,保存“学校常模为参照标准“定位的数据信息，为以“个体内差异评价方法实施教学过程监测和评估奠定了根底。使我们可以十分方便地研究学生成绩、团体指标的开展变化，进行自身的纵向比较及不同科目之间的横向比较，定量地计算成绩提高或降低的水平。,EFAS主要特点六,全面使用教育测量、统计方法,采用全系列的数理统计指标如平均值、中位数、众数、极差、四分位差、标准差、变异系数、方差、平均差、偏度系数峰度系数等，并采用统计专业表格和图形对数据分布状态和趋势进行直观、形象的描述；,采用“推断统计分析如2检验、t检验、相关分析、线性回归、方差分析、主成分分析正态分布检验等解释分析数据的差异。,本系统可十分方便地作为大学英语教学和科研的定量分析工具。,五、某次测验数据的全面分析,一系统参数设置,二输入标准格式Excel数据表,三建立“学校常模作为评价标准,四 “建立文件“的必要步骤,五测验数据的分析和解释,1. 标准参照指标,2. 常模参照等级,3. 测验分数的分布状态的描述,4. 测验分数的分布趋势的描述,一系统参数设置,1.,标准参照指标设置,2.,常模参照等级设置,3.,班级名称设置,4.,教师名称设置,附：模块操作举例,例,5.1,标准参照指标设置,例,5.2,常模参照等级设置,例,5.3,班级名称设置,例,5.4,教师名称设置,二输入标准格式Excel数据表,1.表名称约定：sheet1,2.字段约定：KH考号、XM姓名、JS教师、ZF总分、KM1KM8；,学生考号编码要求6位，即至少需要要包括班级4位，学生2位，考号必须是唯一的，固定不变，便于追踪；教师编码要求4位；,3.保存格式约定：“Microsoft Excel 97 &5.0/95 工作簿以上。,附：标准格式Excel表和模块操作举例,例,5.5,标准格式,Excel,表,注：字段顺序无要求；,ZF、KM1KM8，保存小数1位。,例5.6导入Excel表A,例5.7导入Excel表B,三建立“学校常模作为评价标准,某一个测验分数必须与统一的标准进行比较才能确定其优劣，这个可供比较的标准就是常模。常模表以等值表的形式将原始分数与导出分数之间的对应值表示出来。在常模表中，我们可为某个被试的原始分数寻找到它在常模团体中的相对位置。,大学英语四、六级考试建立重点8校数万名学生常模作为评价比较标准。,本系统采用完全相同的方法，建立每次考试的“学校常模，作为本学校的“尺度相关常模参照标准。,例,5.8,生成学校常模表向导,例5.9学校常模测验量表,四建立文件的必要步骤,1.导入Excel表,2.生成学校常模表,注：分析局部数据时，应利用已生成的学校常模表复制SystemSet.mdb，不再执行生成全学校常模表的操作。,3.生成班级名称表,4.生成教师名称表,5.统计汇总向导,例,5.10,生成班级名称表,例,5.11,生成教师名称表,例,5.12,统计汇总向导,五测验数据的分析和解释,1.,标准参照指标,2.,常模参照等级,3.,测验分数的分布状态的描述,频数和频率分布表和图、累计频数和频率分布表和图、偏度系数、峰度系数、频率分布正态检验；,4.,测验分数的分布趋势的描述,数据集中趋势的描述：平均值、中位数、众数；,数据离散趋势的描述：最大值、最小值、极差、四分位差、标准差、变异系数、平均差、平均差系数、均值,离差描述折线图、中位数,四分位数折线图。,例,5.13,标准参照指标,例,5.14,标准参照指标条形图,例,5.15,常模等级频数分布,例,5.16,常模等级达线描述图,例,5.17,原始分数频数分布,例,5.18,分数频率分布图,例5.19分数频率分布比较图,例,5.20,分数累计频率分布图,例,5.21,样本特征数统计表,例,5.22,中位数、四分位数描述,六、学生成绩定位和开展变化的追踪,大学英语教学的特点，教学过程评价的目标，需要我们淡化被评价者在团体中所处的位置的横向比较，而注重采用“个体内差异评价的方法，即通过被评价者进行自身纵向的比较和或个体诸侧面的比较，来研究被评价者英语能力开展和变化的过程，探索其内在的规律。只有这样，才能使教师获取更有用的反响信息，改进教学管理，保证教学质量；使学生可以调整学习策略、改进学习方法、提高学习效率。,除了全校的宏观分析建立学校常模之外，本系统侧重于教师利用局部的数据进行 “个体内差异评价 的微观分析。系统建立了学生成绩的“历史档案，全面记录历次考试中学生个人成绩、团体指标的详细数据，可以方便地研究被评价者英语能力开展变化的过程。,充分发挥教师在形成性评价过程中的“主体作用，将使大学英语教学评价成为院部、教师和学生共同参与的交互活动。,分析局部数据,的必要步骤,1.导入Excel表,2.利用学校常模表,注：利用已生成的学校常模表复制SystemSet.mdb，不再执行生成全学校常模表的操作。,3.生成班级名称表,4.生成教师名称表,5.统计汇总向导,6.保存学生档案,导出分数与正态分布对应图,例,6.1,百分等级分变化表的应用,某学生的百分等级分变化表单位：%,84,60,76,76,90,90,76,89,79,第,5,次,80,52,75,73,89,81,77,88,76,第,4,次,83,58,76,76,95,84,78,87,79,第,3,次,82,57,77,75,90,83,77,90,77,第,2,次,81,56,75,74,91,82,76,91,78,第,1,次,翻译,口语,完形,词汇,写作,综合,阅读,听力,总分,考 试,“个体内差异评价的量化指标和工具,例,6.2,标准分评价表的应用,某班级,5,次测验的总分标准分,SCO,评价表,+ 0.58%,+ 0.3,52.4,第,5,次,- 0.58%,- 0.3,51.8,第,4,次,+ 1.73%,+ 0.9,53.0,第,3,次,+ 1.15%,+ 0.6,52.7,第,2,次,0,0,52.1,第,1,次,SCO,变化率,SCO,变化值,标准分,SCO,测 验,“个体内差异评价的量化指标和工具,例,6.3,保存学生成绩历史档案,例,6.4,标准分变化图,例,6.5,标准分变化表,例,6.6,标准分评价表,七、语言教学研究中的推断统计分析,教育统计学是应用数理统计方法对教育规律进行数量化研究的一门科学。其内容主要分为“描述统计和“推断统计两大局部。描述统计主要研究如何缩减数据和描述这些数据，如制成表格，画出图形，计算一些常用的参数，用以揭示某些方面的特征；推断统计那么是通过样本所提供的信息，对总体或样本的某些特征进行推断、估计和预测，以揭示事物的内在规律。,推断统计分析在语言教学研究中已经有着广泛的应用，外语教师应该具备初步的推断统计知识和应用能力，才可能看懂和吸收他人的研究成果；即使我们不需要进行以发表为目的的研究，也需要经常对学生成绩进行分析，对教学方法、学生的学习效果进行科学地评价和检验。,本系统中包括了推断统计分析的主要内容：假设检验Z、t、F、2 等四大检验、区间估计、方差分析、相关分析、线性回归和主成分分析等。全部公式、数表都被集成到软件中只要输入相关数据，即可得到推断统计分析的结果。,例,7.1,两个样本平均数差异的,t,检验,?语言研究中的统计学?(Anthony.W.S)用比较听说教学法和语法翻译法教学效果的例子来说明t检验。假定两组学生每组24人在教学条件除教学法之外全部相同的情况下，最后考试的成绩为：,由于考试会受很多随机因素的影响，不能单凭一次观察结果有差异就断定两组成绩有显著差异，需要进行检验。先作假设 H0 ：1=2无显著差异。,检验过程中，需要选择确定显著水平的值，查相应的分布表得其临界值以及拒绝性概率的分布域双侧检验或单侧检验，再进行进行显著性的判别。,平均数差异检验的统计原理与操作步骤,EFAS,操作步骤,方差齐性检验,检验结果,Z,检验,输入、调入数据,显示检验结果,样本容量判断,输入数据,n30,？,方差齐性,？,t,检验公式,t,检验公式,Yes,No,Yes,No,方差齐性检验,检验公式选择,t,分布表,t,分布表,统计用表查询,F,分布表,输出检验报告,例,7.2,两组以上样本的平均数差异检验,方差分析,方差分析主要用于比较两组以上的样本平均数。在比较多组样本平均数时，用方差分析综合性地确定几个平均数差异的显著性。,方差分析又称变异数分析，是一种变量分析方法。其主要功能在于分析实验数据中不同来源的变异对总变异的奉献大小，从而确定实验中的自变量是否对因变量有重要的影响。,使用“方差分析模块时，使用“F检验。可以选择检验科目、分类组别和检验组数，从系统调用或人工输入多个样本的数据。系统将计算统计量、查询F分布表、得出检验结论，自动完成全部检验过程。,例,7.3,样本频数分布差异的,2,检验,2检验是对样本的频数分布所来自的总体分布是否服从某种理论或假设分布所作的假设检验。,2检验可以同时处理一个因素分成多个类别，或多种因素各有多种类别的资料；它除了进行两个样本的总的检验之外，还可以对“差异显著所存在的“相关源做进一步的分析，因此在教学研究中有着十分广泛的用途。,本系统的2检验模块可以抽取测验的数据，也可以人工输入外部数据，先进行“总的检验，再使用“四格表2公式对“相关源做进一步的分析。,例,7.4,相关分析,两个变量之间不精确、不稳定的变化关系称为相关关系。用来描述两个变量相互之间变化方向及密切程度的数字特征量称为相关系数。例如，一组学生两门学科成绩的关系，可用相关系数来描述。,例,7.5,线性回归,如果把存在相关关系的两个变量，一个作为自变量，另一个作为因变量，并把两者之间不精确、不稳定的变化关系用数学方程式来表达，由方程式来估计、预测因变量的值，该方法称为回归分析。,一元线性回归方程的解释,某测验，英语阅读成绩X，英语写作成绩Y, 得到回归方程：,Y = 3.61 + 0.25X 1,X = 10.11 + 0.73Y 2,对于方程1，斜率 b = 0.25 意为当阅读成绩每增加1分时，写作成绩就会相应地增加0.25分；如果阅读成绩为0分，写作成绩为3.61分；,斜率b 的正负之分，表示自变量对因变量的影响方向；本例是正值，说明阅读成绩对写作成绩有积极的影响。如果是负值，那么说明有消极的影响。,方程2的斜率b大于方程1，可以说明：写作成绩对阅读成绩的影响更大。,另外，我们还由方程式来估计、预测因变量的值。,例,7.6,正态分布检验,其他格式实验数据分析的举例,?外语教学研究中的定量数据分析?秦晓晴著 华中科技大学出版社利用北京外国语大学文秋芳教授的“英语专业大学生学习情况调查表 “英语学习者动机、观念、策略的变化规律与特点?外语教学研究?2001年第2期，原著作中采用专业统计软件SPSS进行分析。这里采用本系统分析并举例：,A男女学生的学习努力程度与成绩差异的t检验；,B汉语入学、英语入学与四级成绩的相关分析和线性回归；,C表层动机与深层动机开展变化差异的F检验方差分析。,Excel数据格式转换技巧原表Sheet1,A,男女学生的学习努力程度与成绩差异的,t,检验,对男、女学生课外1进行 t 检验：有显著性差异；,对男、女学生课外3进行 t 检验：有显著性差异。,结论 “无论在第一学期还是第四学期，女生比男生更努力地学习英语。但将男生和女生的英语四级成绩进行比较即进行独立 t 检验，会发现一个有趣的现象：这两组的成绩没有显著性差异，说明男生虽然课外花的时间少于女生，但学习效率比女生高。,摘自秦晓晴著?外语教学研究中的定量数据分析?。,B,汉语、英语入学与四级成绩的相关分析和线性回归,英语入学汉语入学，相关系数0.20，弱相关；,四级成绩汉语入学，相关系数0.15，弱相关；,四级成绩英语入学，相关系数0.41，中等相关；,对前三组一元回归方程中截距 b 的比较，可以说明：自变量Y对因变量X的影响程度与相关系数成正比；,对第四组二元回归方程中截距 a与b 的比较，可以认为：在估计四级成绩Z时，英语入学Y 比汉语入学X相对重要性要大。,C表层动机与深层动机开展变化差异的方差分析,查询 EFAS “样本特征数输出窗口的数据，填写到“方差分析窗口中，从得到的“方差分析表可见：组间差异与组内差异的比值F值较大，检验结论：有显著性差异。,结论 “学生的深层动机具有逐年加强的趋势，且每两次之间的变化都具有统计意义。通过 Z 检验可验证,八、与通用统计软件SPSS功能的比较,发挥专用软件的主要优势通用统计软件SPSS不能实现的功能,A大规模数据处理：全部指标按班级和教师自动分类，学生成绩8种报道格式；,B教育测量学功能：建立“学校常模、正态化标准分、“个体内差异评价的工具标准分变化图、标准分变化表和标准分评价表；难度、区分度、信度和效度的某些计算方法；,C其他：灵活设置量化与分数合成条件；保存历史记录便于追踪比较；自动输出推断统计的检验报告。,典型应用举例,相关系数矩阵,大规模数据处理、丰富的统计学内涵：,用SPSS计算 36项 100个班级=3600次；,内容效度或逻辑效度 单项与总和相关效度分析；,结构效度分析方法之一 工程之间相关系数的分析；,教学效果的判断 异常相关系数的分析。,典型应用举例,推断统计检验报告,格式标准、内容详尽，在科研工程或论文中可直接引用。,英语学习策略分析系统培训内容,一、工程研究现状、趋势和意义,二、系统组成,三、统计分析的主要内容,四、学习策略分析系统主要功能,五、北京交通大学系统运行测试报告,六学习策略调查问卷收集系统,目 录,一、工程研究现状、趋势和意义,二、系统组成,1学习策略调查问卷收集系统,2英语学习策略分析系统,三、统计分析的主要内容,四、调查问卷或量表的来源,五、系统主要功能,六、北京交通大学系统运行测试报告,七、测试结果对教学的初步启示,八、系统设计的改进与开展方向,二、系统组成,1学习策略调查问卷收集系统,设计一个基于学校计算机网络的学习策略调查问卷收集系统，,自动收集学生,学习策略的调查问卷。,2英语学习策略,分析系统,设计一个基于,利克特量表,(Likert scaling),的分析系统,，,对,调查,结果进行全面的描述统计和推断统计,：用频率统计表和统计图、平均数、标准差等描述各种学习策略、观念和因素的现状；用相关分析、,平均数差异,t,检验、方差分析和卡方检验等方法分析不同组别在,学习策略、观念和因素,上的差异,寻找出其内在的变化规律，为有效地指导学生的学习并优化教学方法提供决策。,三、统计分析的主要内容,1语言学习观念,2语言学习策略,3语言学习者因素,4语言学习策略的开展变化,学习策略分析内容举例：, 英语学习者学习策略使用的现状是什么？, 成绩不同高、中、低分组的学生在语言学习策略的使用上是否存在差异？, 学习策略的运用与语言水平的的相关性如何？, 学习策略的使用水平高、中、低分组是否在性别、专业、学习观念、学习动机、认知风格、学习风格和个性特征方面表现出显著差异？,四、调查问卷或量表的来源,1.,学习观念调查问卷,软件中可以根据调查者的需要灵活组态。,2.,学习策略调查问卷,软件中可以根据调查者的需要灵活组态。,3.,学习动机测量表,4.,左右半脑类型测量表,5.,含混容忍度测量表,6.,学习风格类型测量表,7.,性格类型测量表,(目前各问卷及量表均使用文秋芳老师设计的调查问卷.),五、系统主要功能,1,通过网络大规模、快速收集调查问卷,灵活定义调查问卷的结构和内容,填写个人信息和学习观念调查问卷,填写学习策略调查问卷,学习者因素个性化分析与指导,利用“学习动机、“左右半脑类型、“含混容忍度、“学习风格类型、“性格类型等测量表，可以对学习者进行个性化的测量与分析。,把学习者个性化分析应用到教学实际，将有助于“建立英语学习者个性化自我分析模式，“根据学生的个性化和个人需要切实可行地指导学生学习，使他们真正获得英语学习的自主能力刘润清。例如，“语言学习者应该了解自己的认知风格，并结合自己的认知风格选择和训练语言学习策略，从而充分发挥自己的潜力同时注意尝试其他认知风格的做法，眼、耳、口、手、脑并用，扩宽学习渠道，增加语言信息输入量程晓堂。,显示和打印“学习者因素个性化分析与指导报告,从网络下载,Excel,格式的,调查问卷文件,2,量表分析,(,scale analysis,), 工程分析 (item analysis),“使用利克特量表收集的数据需要通过工程分析以排除不适当的问卷问题即工程。工程分析“选择问卷总分最高的25%和最低的25%，作为上下分标准。比较高分组和低分组在每道题上得分的平均值差异，即进行差异的显著性检验。如果差异小而达不到显著水平0.05或5000,组,X=77,Y=77,学习观念总分,1,管理观念,7,形式操练观念,7,功能操练观念,7,依赖母语观念,5,学习策略总分,1,管理策略,9,形式操练策略,7,功能操练策略,8,母语策略,5,学习动机总分,1,表层动机,6,深层动机,6,学习观念总分,1,管理观念,7,形式操练观念,7,功能操练观念,7,依赖母语观念,5,学习策略总分,1,管理策略,9,形式操练策略,7,功能操练策略,8,母语策略,5,学习动机总分,1,表层动机,6,深层动机,6,独立样本平均数差异,t,检验,(,t test),平均数差异t检验可以分析每类语言学习观念、策略、动机、风格相互之间的差异。,例如，对高、低分组学生在学习观念上差异的t检验说明：“高分组的学生较之低分组学生对文化知识的学习具有更积极的态度；低分组学生对文化知识相对消极的观念会阻碍他们英语的进一步提高高分组的学生开阔积极的语言学习观念和低分组学生相对狭隘、消极的语言学习观念可以从一个侧面解释两组学生成绩的较大差异,?中国高校外语教学改革现状与开展策略研究?马晓梅。,独立样本平均数差异检验,举例,北京交大,2172,名学生的实测数据说明：成绩,高、低分组学生在功能操练策略的使用频率上的差异极其显著。, 方差分析analysis of variance , ANCOVA,两组以上数据的平均数差异检验需要使用F检验，即方差分析。在?外语教学研究中的定量数据分析?中，秦晓晴教授用文秋芳的“英语专业大学生学习情况调查表，举出了“单因素重复测量方差分析SPSS例如，分析英语专业72名学生3学期深层动机的变化差异，输出的“描述统计表如下：,Mean,Std. Deviation,N,深层动机,1,3.3380,0.6748,72,深层动机,2,3.6343,0.6309,72,深层动机,3,3.8287,0.6829,72,方差分析举例,北京交大,2172,名按成绩,高、中、低分组的,学生,，在学习策略使用频率上有显著差异。高分组学生学习策略使用频率的水平远远高于低分组。, 卡方2检验 Chi-square test,卡方检验属于非参数检验non-parametric test，可以用来检验样本频数分布的差异。,例如，“卡方检验被用来揭示英语学习成功者与非成功者之间在使用学习策略上的异同点；“卡方检验用于在具体策略水平上检验策略运用与语言水平的相关性?中国高校外语教学改革现状与开展策略研究?马晓梅。,卡方2检验举例,北京交大,2172,名学生按成绩,高、低分组的学生，在功能操练策略使用频率上的差异极其显著。, 打印推断分析的检验报告Word格式,六、,北京交通大学系统运行测试报告,1. 测试时间：2007年3月9日3月19 日。,2. 测试对象：06级学生2315人，分6批集体上网，或单独上网填写调查问卷。筛选后的有效调查问卷2172份。,3. 数据总量：52万个 241 2172=523452。,4. 合并数据：06级入学分级考试成绩5项，包括：总分、听力、阅读、词汇和完型。,5. 数据预处理：2小时。包括：合并考试成绩数据；自定义成绩分组变量；自定义策略应用水平分组变量。,6. 数据分析与存储：1小时。完成 9 组数据的分析，包括：,按总分、策略频率分组； 按听力、策略频率分组,按总分、管理策略频率分组；按总分、母语频率分组,产生保存分析结果表格、图形、推断结论10000 组。,备注：如果人工输入数据，按每人1万个/天，5 人，需要10天。,如果采用SPSS计算分析，按每人20次/天， 5 人，需要100天。,七、测试结果对教学的初步启示,在对北京交大2172名学生的测试中，无论在“频率分布相关图的描述、“平均数差异t检验、“方差分析还是“卡方2检验等等，测试的每一个结果都毫无例外的指向相同的结论：,按成绩高、中、低分组的学生，在每一项学习策略的使用频率上的差异都有显著性，甚至差异极其显著。,这充分说明了研究学习策略的意义，以及对学生进行学习策略训练的重要性。,“教会学生如何学习，培养学生有效的学习策略，不仅有利于他们提高教学效果，减轻学习负担，而且能够大面积地提高教育质量。程晓堂,八、系统设计的改进与开展方向,1增加学习策略训练、,诊断、咨询和指导的内容；,2增加软件版本或功能，,灵活使用多种调查问卷；,3引入更多的实证分析成果，丰富数据分析功能,；,4开发中/英文版 ,英语学习策略分析系统（网站）,调查问卷收集,数据分析评价,学习策略训练,诊断咨询指导,开展方向设想图北京交通大学蒋学清、邹枚,我们的想法：优点,1.,学生网上答卷，免去了中间可能的不可控因素的影响；数据导出省时，免去了输入的劳力和输入的误差。,2.,能同时处理庞大数据,3.,将,spss,中教师可能用到的功能尽收，使用方便、快捷。,4.,有数据报告，经,spss,检验真实有效。,我们的想法：缺点,1. 目前处于推广阶段，使用面小，国际上对其软件科学性尚未认可,2. 只使用Likert量表，不可多项选择，使问卷设计受到局限；如果顺应它，势必会造成问卷工程增多的状态。期望改进，以便问卷设计有更多项选择择。,定量分析的相关参考书目：,?语言研究中的统计学? (Anthony.W.S),?外语教学研究中的定量数据分析?秦晓晴著 华中科技大学出版社,Thank you！,