现代统计分析方法在考试研究中的应用

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,现代统计分析方法在考试,研究,中的应用,1,目录,描述性统计分析方法,1,题型对试卷总体难度的影响,2,数学能力对总分的贡献,3,文理科学生数学水平差异比较,4,5,研究方法总结,2,描述性统计分析方法,试题的统计指标,难 度：试题得分率,区分度：试题得分和总分的相关系数,试卷统计指标,难 度：试卷得分率,信 度：考生成绩稳定程度,效 度：试卷成绩的有效程度,标准差：考生分数的离散程度,3,4,甲卷难度为,0.516,，乙卷难度为,0.541,5,问题,难度和区分度的关系,试题的难度分布：标准参照考试应为窄全距的难度分布，常模参照考试应有一定的梯度,试卷的区分能力：试卷没有区分度指标，可以和各科的总分求相关，鉴别区分能力,各科分数在总分中的作用：标准差大的科目在总分合成中发挥更大的作用。学科人员是在进行学科间的比较，而考生是在进行个人之间的比较，增加分值等于给每个考生加分。,6,语文的标准差在,13,左右,7,数学理科的标准差在,28-32,左右，文科在,30-34,左右,8,题型对试卷总体难度的影响,数学试卷中哪种题型对总分的影响最大,？,在进行整卷难度调控时应该首先调整哪种题型的试题？,数学科高考试卷包括选择题、填空题、解答题三种题型。,三种题型考查的目标各有侧重，选择题和填空题主要集中在对知识的了解和理解层次的考查，主要是使试卷有较大的覆盖面。依据测验分类，应该属于速度测验。解答题重要侧重对数学能力的深入考查，发挥选拔和区分功能。应该属于难度测验。,9,三个大题与总分之间的线性关系,由于三道大题在难度设置和试卷构成中具有各自特点，同时学生在作答过程中会应用不同的解题策略等，从学生实际作答数据结果来看，在学生的得分构成中，三道大题得分比重与三道大题的分值比重有所不同。,10,11,12,解答题与总分的相关最高，决定系数最高,回归系数的定位和作用要客观分析,13,14,结语,选择题、填空题和解答题的难度依次上升，基本符合考试设计，也符合各种题型的考查功能和题型特点。,因为选择题、填空题没有中间过程，,可能造成一定的误差，因此,试题不能过难。,避免,过难影响考生的情绪,、,耗时过多，影响后面的答题。,解答题,对,整卷难度的影响最大，一般采用分步设问、梯次递进的方式设计。,15,数学能力对总分的贡献,哪种数学能力对总分的贡献最大？,各个水平考生的能力是否存在差异？,潜变量路径分析方法,解决外源变量和内源变量之间因果关系的统计模型,相比于传统回归模型，优点在于可以同时考虑多个外源变量和内源变量的因果关系的影响、多个变量之间的链式或递进式的影响，并且能探讨中介变量的直接效应和间接效应作用,研究设计,检验假想的因果模型的准确和可靠程度,测量变量间因果关系的强弱,各水平考生的能力差异,16,考试内容与能力结构表,17,主旨能力结构表,数据分析,创新应用能力与其他四个能力的路径系数都比较小，说明与其他能力的关系较远。,创新应用能力在逻辑思维能力的路径系数明显高于其他三个能力，说明创新应用能力与逻辑思维能力的关联密切，或者说创新应用能力是以逻辑思维能力为基础的。,其他四个能力的路径系数都在,0.4,左右，说明他们的相关很高。因此可以得出这样的结论，创新应用能力是在基本数学能力的基础上，更高层次的能力。,20,结论,随考生水平的增高，运算求解能力的影响逐步降低，逻辑思维能力的影响逐步增强,在各水平组的统计数据中，各种能力的相关都明显小于总体的相关系数，说明总体数据全面反映相关程度。,创新应用能力虽然是高层次的能力，但对总分的贡献明显小于逻辑思维能力。但其他能力通过创新应用能力影响理科总分，所以创新应用能力发挥重要的中介作用。,25,26,数据分析,考查空间想象能力和数据处理能力的的试题，,100,的试题路径系数在,0.3,以上。,特别是数据处理能力，两个题目的路径系数分别是,97,和,63,，达到了很高的水平。,考查逻辑思维能力的试题，,83.3,的试题路径系数在,0.3,以上。,考查运算求解能力的试题，,81.0,的试题路径系数在,0.3,以上。,考查创新应用能力的的试题，,66.6,的试题路径系数在,0.3,以上。,着重分析第,12,、,15,题。特别是第,12,题，在逻辑思维能力、运算求解能力的路径系数都很低。,第,12,题的通过率为,17,，第,15,题的通过率仅为,15,，说明题目很难，大部分考生不能完成，两个试题没有发挥其对考生的区分功能，这是影响其效度的主要原因。,1,2,3,结语,4,引言,研究设计,统计数据分析,文理科学生数学水平比较研究,30,引言,关于全面深化改革若干重大问题的决定,普通高中数学课程标准,实行文理分科设置,高校分,文理,科两类录取,探索全国统考减少科目、不分文理科,文理科数学考试内容和要求差异明显,不同院系和专业对数学有不同的要求,31,文科考生,理科考生,考试要求不同,考试内容不同,不能比较能力发展水平,不能比较知识掌握程度,研究设计,现行数学考试,32,研究设计,文理科考生比较,试卷稳定性,考生水平变化,等值处理,2010,年,-2014,年在,H,省开展了高考等值测试，比较各年间考生水平以及试题难度的变化情况。,文理科使用相同的锚题,预测考生水平,年度间比较,33,研究设计,中间,46%,前,27%,后,27%,文理科考生总体水平比较,将考生分为高、中、低三组,34,研究设计,数学能力,创新应用能力,数据处理能力,空间想象能力,运算求解能力,逻辑思维能力,35,研究设计,代数,三角函数,立体几何,统计与概率,解析几何,数学知识,数学分支知识内容,36,统计数据分析,本研究的统计样本包括所有参加,2010,年,2013,年,H,省高考的考生，在剔除掉无效样本后，有效样本量如表,1,所示。,37,统计数据分析,试卷难度稳定性研究,理科数学等值后的原始分数对应图,38,统计数据分析,文,科数学等值后的原始分数对应图,39,统计数据分析,结论,横坐标表示考生能力,，纵坐标表示考生能力值所对应的试卷期望得分。,可以看出理科考生在四年高考中能力值所对应的试卷期望得分基本吻合,文科考生不同年份能力值对应的试卷期望得分存在一定差异，尤其是在能力分布的中段部分差异较大。,四年来的理科试题难度较为稳定，文科试题难度则有波动。,40,统计数据分析,文理科考生分位数函数图,41,统计数据分析,42,统计数据分析,43,统计数据分析,44,统计数据分析,总体趋势,随着总分排名的提高，其期望分数也相应提高,文理比较,考生差异,排名在中上水平的文理科考生成绩差异最大,由,以上,4,个,图可以看出,文科考生总的来说低于理科考生,45,文理科考生比较,对文科和理科考生群体进行独立样本,t,检验，结果显示文理科学生数学高考成绩存在显著差异,（,d=24.35,，,t=220.82,，,p0.001,）,39.26,标准差,数学期望,平均分,63.61,21.86,29.39,统计数据分析,文科考生,理科考生,46,统计数据分析,2010,和,2013,年度文理科期望均分差异较大，,2011,和,2012,年度文理科期望均分差异较小,47,统计数据分析,文理科按内容比较,：全体考生,48,统计数据分析,文理科按内容比较,：低分组考生,49,统计数据分析,文理科按内容比较,：中分组考生,50,统计数据分析,文理科按内容比较,：高分组考生,51,统计数据分析,文科考生,理科考生,低分组几乎,没有差异,中分组差,异拉大,高分组差,异最大,代数,立体几何,差异最大,52,统计数据分析,文理科按,能力,比较,：全体考生,53,统计数据分析,文理科按,能力,比较,：低分组考生,54,统计数据分析,文理科按,能力,比较,：中分组考生,55,统计数据分析,文理科按,能力,比较,：高分组考生,56,统计数据分析,文理科考生总体,能力存在差异,各分组考生,都存在差异,文理科考生,能力差异,A,B,能力差异与,内容差异存在相关,D,高分组考生,差异最大,C,低分组差异较大,可能由于学习内容差异造成,数据处理能力差异最大,各种能力的差异表现不同：有的扩大，有的缩小,57,统计数据分析,不同年份文理科成绩差异的波动情况,58,D,B,C,A,文,文,理科考生差异在,15%,左右,以,150,分记，差异在,24,分左右,高分段考生成绩差异最大,总体比较,结语,文理科考生存在明显差异,59,结语,文理科考生在五项数学能力都存在差异,数据处理能力,空间想象能力,下面三种能力差异最大,水平越高差异越大,创新应用能力,60,结语,差异最大,三角函数,解析几何,文理科考生在五个数学分支都存在差异,差异中等,差异最小,统计与概率,代数,立体几何,61,结语,就文理科教学内容而言，解析几何和三角函数的差异最小，几乎相同；立体几何和统计与概率的差异最大。,而文理科考生在各分支内容的差异也是在解析几何和三角函数的最小、立体几何和统计与概率的差异最大,。,知识范围的差异导致学生对学习内容掌握的差异？,这其中的相关联系需要进一步的研究。,62,结语,知识内容,层次教学,能力培养,加强,立体几何、,统计与概率,重点提高中上层,考生的水平,加强数据处理能力,空间想象能力,和创新应用能力,培养,提高文科学生数学水平的关键,整体水平,提高综合能力,63,研究方法总结,提出研究的问题,选择合适的研究方法,制定研究方案，预测研究结论,抽样，处理数据,分析统计数据，检验与预测结论是否吻合,总结研究成果，得出尽可能合理的结论，尽量留有余地,分析研究的不足和今后研究的方向,64,纸上得来终觉浅，绝知此事要躬行,谢 谢！,65,