区级高考化学模拟考试试卷难度控制与预估的研究-天.doc

区级高中化学质量调查试题难度控制与预估的研究和平区教研室 贾浦东一、问题的提出难度是评价试题质量的一个重要指标。长期以来，我们的命题工作主要依靠少数专业人员的个人经验，欠缺理论指导的统计依据。试题难度的预估，对于科学、合理地配置试题的难度，控制试题的总体难度，使命题科学化，具有重要的现实意义。1.课题研究的意义众所周知，测验或者说考试的性质不同，其对试卷、试题的难度要求也不同。试题难度指标是否符合预期的要求，不仅会影响到试题的信度、试题的区分度，而且还关系到考试的最终目的能否圆满实现。现以中考为例，如果学生的考试成绩呈正态分布，若教育行政部门要求此次考试考生的不及格率控制在5%左右的话，那么按教育理论推算，试卷的总难度值应控制在0.75左右。但是，在实际的命题工作中，试卷的实测总难度值很难与预期的难度值相一致，经常会产生一些偏差。如果试卷的总难度值偏差0.05，其结果如表1所示：表1偏差情况试卷总难度值按理论推算，考生不及格率向上偏差不发生偏差向下偏差p=0.80p=0.75p=0.700.14%5.0%15.9%由此我们不难看到，试卷的总难度值仅有0.05的偏差，考生的不及格率将在0.14%15.9%的范围内波动，这是一个不小的不及格率变化。因此，在命题工作中，控制好试卷的总难度、合理的配置试题的难度，搞好试题的难度预估是一项有意义的工作。2.预估研究的概况长期以来，我国的命题工作主要依靠少数专业人员的个人经验，缺乏理论指导和统计依据，造成命题的随意性较大，而且命题制卷后，不经预测、筛选和修正，就直接与考生见面，这样就必然导致试题难易程度很难与考生的知识和能力水平想吻合，结果造成试题有时过难有时太易的情况，给教学工作带来不良的影响。本人任职于天津市和平区教研室，从事化学学科的教育、教研工作，其中，和平区各年级化学学科的期中质量调查、期末质量调查等的命题工作是我室的经常性工作。上述所说的试题编制过程，就是我们考试命题程序的真实写照。试题时而难时而容易现象几乎年年发生，它不仅仅影响学生的及格率，影响学生学习化学的兴趣，重要的是它不利于中学实施素质教育，也无助于社会的和谐发展。因此改革传统的考试命题方式，积极引进国外的理论研究成果，开展考试科学化的研究，已势在必行。近几十年来，我国在有关部门的大力倡导下，积极开展了标准化考试的研究和实践，并取得了丰硕的成果。一些院校还加强了题库的建设，做了大量有益的工作，它有助于试卷总体难度的准确控制，有利于考试目的的圆满实现。国外大型考试多采用这种方式，依据考试目的，从题库选取试题，再拼题成卷，来控制试卷的难度。但是，建设题库需要投入大量的人力、物力、财力，建设的周期较长，工程的规模较大，并且随着课程计划、大纲和教材的变化，题库的内容需要进行重新的测试和调整，较难适应我国目前教育改革发展的需要。1 考试研究室主编.考试命题的理论与实践M.天津：天津市教育教研室编印 1995.10.近些年来，部分省市的教育科研人员提出对试题难度进行预估性研究，并在有些学科试题难度预估研究中取得了较好效果，从而为试卷总体难度控制的研究开辟了一个新的研究思路。在我国，首先是广东省物理标准化考试研究室于1987年发表了试题难度的预估研究成果，即而由湖南省和浙江省在组织高中会考命题研究中，将其研究成果推广应用到各学科中去，并取得了较好效果2 考试研究室主编.考试命题的理论与实践M.天津：天津市教育教研室编印 1995.10.。该项研究已经引起了有关部门的高度重视，并将试题的难度预估列为标准化考试命题程序中的一个重要环节。如下图所示3 考试研究室主编.考试命题的理论与实践M.天津：天津市教育教研室编印 1995.10.： 确定考试目标制定细目标编写试题试题难度预估组配成卷考试学生成绩调 整反馈试卷抽样统计分析 尽管试题的难度预估已纳入标准化考试命题的程序中，但是，目前无论是高考还是中考命题，其试题难度的预估仍停留在命题人员的经验估计的水平上，有关试题难度预估的理论基础还很薄弱，预估的技术至今尚不成熟。本文仅以初中化学试题难度的预估作为切入点，尝试着作初步的探索。3本课题研究的基本思路笔者认为，试题难度的预估研究主要解决以下四方面的问题：（1）确定影响试题难度的主要因素（2）探讨影响试题难度各主要因素的权重分配（3）探索试题预估难度的计算方法（4）提高试题预估的准确性，以利于命题的科学化二、化学试题难度的预估研究1.课题研究的目标通过2009届天津市和平区高三前二次化学质量调查试题及其实测难度数据的综合分析和研究，预期达到以下结果：（1）探讨影响初中化学试题难度的各主要因素及其权重分配，期望建立影响试题难度的各主要因素与其难度之间的关系。（2）运用上述试题难度影响因素与难度间的关系，期望能提高对2009年和平区后期高三质量调查试题难度预估的准确性，以利于命题的科学化。2.课题研究的方法 本课题研究是在天津市和平区高三前二次化学质量调查试题实测难度数据统计分析的基础上，运用定量与定性相结合的方法，提出影响试题难度各主要因素与其难度值之间关系的假设，并以和平区后期高三化学质量调查试题的难度来检验预估难度的准确程度。3.课题研究的实施程序（1）课题研究的对象本研究选取天津市和平区高三前二次化学质量调查试题实测难度数据作为研究对象，以和平区后期高三化学质量调查试题及高考题作为检验试题预估难度准确程度的样本。实测难度数据来源于天津市和平区教研室。（2）课题研究的假设化学试题的难度与试题的考试目标、考查的知识点数以及其它相关因素呈正相关；而与学生对该题的熟悉程度呈负相关。设计高考化学试题难度预估简便易行的计算方法。（3）课题研究的自变量和因变量自变量：试题的考试目标、考查的知识点数、学生对该题的熟悉程度及其它相关因素。因变量：试题的难度值。（4）化学试题难度预估的指标体系建立为了准确的预估试题的难度，需要建立一个评价试题难度的指标体系，为此需要作好以下三方面的工作：第一：确定影响试题难度的主要因素；第二：确定各主要因素对试题难度影响的权重；第三：提出简便易行的试题预估难度的计算方法 为此，笔者对天津市和平区前二次化学质量调查试题及其实测难度数据做了细致的逐一解析，以便从实践中找到解决上述三个方面问题的方法，现将统计分析结果综合归纳如下： 影响试题难度的主要因素 考试目标 考试的性质不同，其对试题的难度要求也不同。一般说来，高考化学学科的考试属于选拔性考试。高考是一种选拔性的考试,是一种强化基础、注重能力和素质的考试，它所关注的是学生通过学习是否达到教学目标所规定的标准，因此，教学目标是决定试题难度的主要因素之一。显然，教学目标层次高的内容，其试题的难度就大，反之，教学目标层次较低的内容，其试题的难度就小。在高中化学教学大纲中将教学目标由低到高划分为四个层次，它们是：常识性介绍系指对所学知识有大致的印象。了解 系指知道“是什么”。能够记住学习过的知识的要点，能够根据提供的材料识别是什么。理解 系指懂得“为什么”。能够领会概念和原理的基本涵义，能够解释和说明一些简单的化学问题。掌握 系指能够“应用”。能够分析知识之间的联系和区别，能够综合运用知识解决一些简单的化学问题。知识点数试题的难度与考查的知识点多少有直接关系。显然，知识点含量越多，试题的难度就越大，反之，难度则较小。试题的难度不仅与考查的知识点多少有关，而且还与这些知识点的结构密切相关。显然，一个题目所涉及的知识点较多，其彼此间的关系（即结构）就较复杂，相应试题的综合程度就较高。解题时，考生不但要理解掌握这些知识点的内容，而且还需要将其综合起来灵活运用，所以考核知识结构的试题要比单纯考核知识点的试题难度要大一些。因为这类试题不仅增加了试题的知识含量，而且也提高了对考生能力水平的要求。为此，在考虑试题的难度等级时，应提升一个层次。学生对试题的熟悉程度试题的难度与考生对该题的熟悉程度密切相关。分析考生对该题的熟悉程度应从两个方面来考虑：一是试题的内容。如果试题考查的内容是教学中的重点内容，在平时学习中又是经常练习，这样的试题难度就小。反之，试题的内容是学生所不熟悉的，尤其是化学实验，学生平时实验做的就少，实验步骤、实验现象也不清楚，这样的试题，在考虑试题难度等级时理应提升一个层次。二是试题提问的角度。如果试题提问的角度与平时学生做过的练习比较一致，学生解答就比较容易。反之，如果题目设计的情境较新，题目较灵活，学生答题就会感觉困难。对试题熟悉程度笔者认为可分为四个层次： 熟悉较熟悉较生疏生疏（全部常见）（75%左右常见）（75%左右未常见）（几乎全是新的）相关因素由于相关因素对试题难度的影响具有随机性，因此，我们在预估试题难度时，先有三个主要因素考虑试题难度，如果其中某个相关因素对试题难度影响显著时，可根据具体情况对预估难度做适当调整，以求预估难度更具有客观性。 以试题题型为例，近些年来高考化学试卷的题型主要是：题型选择题单项选择题（四选1）填空题带有实验的题非选择题带有计算的题无机推断题有机推断题单项选择题（四选1）由于有1/4的猜测概率，故试题难度较小，一般难度值在0.6以上（笔者通过对2009届天津市和平区前二次化学试题实测难度数据统计，若看到很多题目低于0.6了，是因为以上数据统计中不含一中、耀华）。填空题由于只要求最后结果正确，没有中间的步骤，一般得分率较低，难度值平均在0.6左右。无机推断和有机推断由于学生训练比较多，但由于蕴含的信息量较大，因此难度值平均在0.5左右。实验题由于比较新颖，学生平时亲手做实验的机会不多，思维上受到很大的局限性，因此难度值平均在0.4左右。计算题是化学知识与数学计算的有机结合，是对化学知识在正确理解基础上的深层次应用。由于化学计算涉及化学与数学两个方面，因此在解题中需要运用、组合较多的化学与数学的基础知识，而且题设中常隐含着某些关系式或关系量，因此，对考生的逻辑推理能力要求较高，试题难度较大，难度值平均在0.4左右。据此可知，上述几种题型其试题的难度大小顺序为：计算题实验题 无机推断和有机推断题 填空题 单项选择题（四选1） 难度平均值 0.4左右 0.4左右 0.5左右 0.6以上试题难度各影响因素的权重分配 根据各个因素对试题难度的影响程度和上述对2009届天津市和平区前二次化学质量调查试题实测难度的数据分析，笔者对各因素所属的不同层次分别赋值。表6括号内为应赋的数值：表6试题难度的影响因素及其赋值考试目标常识性介绍 （1）了解 （2）理解 （3）掌握 （4） 知识点数1个 （1）2个 （2）3个 （3）4个 （4）注若知识间形成结构的试题 （1）熟悉程度熟悉 （1）较熟悉 （2）较生疏 （3）生疏 （4）相关因素题型单项选择题 （1）填空题 （2）无机和有机推断 （3） 试题表述较繁 （1）实验、计算试题 （1）试题难度的估算方法 首先估计影响试题的各个因素分别隶属于哪个层次，按表3赋值，然后将该试题各影响因素的点数累加，再对照表4确定试题的预估难度。 表7累加点数与难度换算表因素累加点数4668810101111121213131415至以上预估难度（p）0.95以上0.950.900.90.80.80.70.70.60.60.50.50.40.4以下表7是笔者对2009届天津市和平区前二次化学试题实测难度数据统计后的经验值。试卷难度的预估 在试卷难度预估的基础上，可对整体试卷的难度进行预估，其计算公式为： p试卷难度 pi某试题的难度 xi某试题的满分值 x试卷的满分值（5）高考化学试题难度预估指标体系的实施和应用 为了检验该指标体系对试题难度预估的准确程度，借着本人作为天津市和平区高考化学质量调查命题的机会，对该试卷的每个试题的难度，按上述方法做出了预估。考试后由和平教研室对试卷作了数据统计，测得各题的难度。如表9所示：表9 2009届和平区高三后期化学质量调查试卷的数据统计题号分值考试目标（点数）知识点数（点数）熟悉程度（点数）相关因素（点数）累加点数预估难度实测难度偏差16212160950.9234+0026626211150960.9726-00126362422100700.6508+00420462423110650.6213+00287563443140500.3008+01992663223100750.6941+005597104423130500.4150+00858223422110700.6173-0019173423120600.5241-00610153423120650.5593+004*实测难度数据来源于和平区教研室*实测整卷难度p实=0.5967*预估整卷难度p预=0.6741上述统计数据表明：整张试卷难度的预估值与实测值间偏差为：0.6741 -0.5967=0.0774它说明，该指标体系在对高考化学试题难度的预估上是可行的。各个试题难度的预估值与实测值之间的偏差，总体来说偏差不大，最高为0.1992。试题中偏差大于0.1者，有1个试题，占试题总数的10%；偏差大于0.05者，有4个试题，占试题总数的40%。笔者认为，产生上述问题的主要原因在于：确定考生对试题的熟悉程度；确定试题考查的知识点数。由于欠准确，导致“点数”上有12个点的偏差。但是评价的指标体系整体上还是稳定的，无需做大的调整。为了验证上述初步实践结果的可靠性，笔者在拿到2009届天津市高考考试化学试卷后，再次对试题难度预估指标体系进行了实践检验。如表10所示。表10 2009届和平区高考考试化学试卷的数据统计题号分值考试目标（点数）知识点数（点数）熟悉程度（点数）相关因素（点数）累加点数预估难度实测难度偏差16242160850.82+00326342270700.71-00136342250700.68+00246331150800.78+00256333280650.64+00166343390500.47+003714342360550.54+001818342370550.55-0918343390500.45-00510143433805 00.47+003*实测难度数据来源于天津市考试院*实测整卷难度p实=0.5674*预估整卷难度p预=0.5910 上述统计数据表明：整张试卷难度的预估值与实测值间偏差为1%左右：0.5910-0.5674=0.0236各个试题难度的预估值与实测值之间的偏差最大的为0.05，最小的为0。 基本情况与2009届和平区全体学生参加天津市高考考试化学试卷的预估结果大体雷同。三、结论 1高三化学质量调查试题的难度与试题的考试目标、考查的知识点数以及其它相关因素（如题型、试题简繁程度等）呈正相关，而与学生对该题的熟悉程度呈负相关。笔者通过2009届天津市和平区前二次化学质量调查试题实测难度数据统计的统计分析和对2009届天津市和平区高考后期化学质量调查试题、高考题中对试题难度的预估检验，都表明上述关系是正确的。2运用定量和定性相结合的方法，并通过对2009届天津市和平区高考后期化学质量调查试题、高考题的检测表明，试卷总体的预估难度与实测难度值相近，偏差在1%2%之内，它说明该计算方法是有效的、可行的。四、问题与讨论 1高考化学试题难度预估指标体系有待进一步优化体系，它具有时代性、阶段性和发展性。因此，它需要不断地发展完善、再发展再完善。影响试题预估的各个因素及其权重赋值，需要通过不断的检验加以修改或筛选，使指标体系日趋优化，以满足命题科学化的要求。 但是，由于化学试题的内容和形式千变万化，影响试题难度的因素也绝非本文所涉及的几个方面。因此，客观地讲，很难用一种简单的模式去概括。尽管本文用定量与定性相结合的方法比过去的单纯凭经验预估有所提高，但是，要想提高预估的准确性，还有许多工作要做。 2在试题难度预估的实际操作中，确定学生对试题熟悉程度等级以及试题所考查的知识点数多少，是影响难度预估准确性的主要方面，而规范初中化学知识点是目前可以做到的，也是提高难度预估准确性的可行办法。总之，试题难度的预估，对于科学、合理地配置试题的难度，控制试卷的总体难度，使命题科学化有着重要的意义。但是我们的研究刚刚起步，认识还十分粗浅，可参考的文献极少。评估方法中，依靠经验，主观东西还不少，这些都是今后在实践中逐步加以解决的问题。庆幸的是，笔者竟必在命题工作中人们“头痛”的问题上做了些有意义的尝试。