第十八章汇总ppt课件

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,第十八章,研究评价,第十八章,陈教授谈：,什么是评价,美女的评价标准！,陈教授谈：什么是评价,第一节 研究评价概述,一、研究评价的定义及内容,研究评价的定义,运用管理学方法的原理,依照管理学研究过程的逻辑,根据相关的评价标准，结合特定的评定方式，从企业研究方法的技术性角度对研究的方法和成果,研究报告或论文，在研究的功能、品质和属性方面作出价值性判断的过程。,第一节 研究评价概述一、研究评价的定义及内容,研究评价的内容,研究方法的恰当性和新颖性,研究结果的可靠性,研究解释的恰当性和研究结论的概括性,研究的理论和应用价值,对一项研究的进行评价，主要从包括以下几个方面的内容,研究所依据的理论或观点的合理性,研究评价的内容研究方法的恰当性和新颖性研究结果的可靠性研究解,二、评价标准,（一）评价标准的依据,通常在评论标准的制定时，都要从两个方面进行考虑：,一个是评价的目标性,研究评价是一项具有明确的目的和目标的评价活动,一个是评价的价值判断性,在目标性的指导下，在评价过程中，需要根据研究分解出若干评价要素,二、评价标准（一）评价标准的依据,（二）评价标准,（,1,）整体性评价,前言（占全文的,5%,）；文献阅读分析，提出要研究的问题、论证研究和本研究的起点（,20%30%,）；研究设计，介绍拟采用的研究方法，包括研究变量的定义和测量，研究数据的收集方案，数据采集过程，模型的构建等（约,10%,）；数据分析过程和结果，解答各个要研究的问题（,30%,左右）；数据处理结果的讨论、分析和结论（,20%,左右）；对策（问题与展望）（,10%,左右）；参考资料、附录等（占全文的,1%,）。,（二）评价标准（1）整体性评价,（,2,）分项评价,分项评价的具体参考标准如下图,（2）分项评价 分项评价的具体参考标准如下图,2,、间接判断法,3,、模糊判断法,4,、目标判断法,5,、自我比较判断法,1,、直接判断法,6,、零基参照系判断法,7,、高标参照系判断法,（三）评价标准的确定方法,2、间接判断法3、模糊判断法4、目标判断法5、自我比较判断法,三、评价操作,在对研究进行评价时，一般包含三个基本要素,1.,评价对象,2.,评价指标体系,3.,评判者,三、评价操作在对研究进行评价时，一般包含三个基本要素1.评价,（一）,评定方式,从评价指标体系性质分类,两种方式,2.,评价技术方式,1.,理论思维方式,（一）评定方式从评价指标体系性质分类两种方式2.1.,除了从评价指标体系性质进行分类外，从评判者角度，也可以对评定方式进行分类,3.,评优秀科研成果奖,2.,专家鉴定,从评判者角度,1.,自我评定,除了从评价指标体系性质进行分类外，从评判者角度，也可以对评定,（二）评价步骤,1.,建立评价指标体系,具体又包括三个部分：评价要素、评价标准、指标权重,2.,资料的收集,访问调查、个案调查、量表测量（专家评判）,3.,价值判断,4.,评价结果的综述,（二）评价步骤1.建立评价指标体系,四、评价的意义及注意事项,评价的意义,有助于认识研究结果的价值；,有助于研究成果的交流；,从科研管理来看，有助于科研资助或管理机构的决策；,有助于研究结果的应用和推广；,研究评价是整合局部研究成果的基础，有利于学科研究体系的完善和系统化。,四、评价的意义及注意事项评价的意义,评价的注意事项,（,1,）评价首先应该是正常科研活动的一部分,（,2,）为了减少评价的负面效应，应有限制地使用评价手段,（,3,）对科学研究成果的综合性评价需要预先考虑自我评价的意见和听取相关专家意见,（,4,）评价首先是要提供评价对象的定性信息，而不一定是定量指标,评价的注意事项（1）评价首先应该是正常科研活动的一部分,第二节 研究成果的评价,一、研究成果的阅读,问题提出部分的阅读,1,研究方法部分的阅读,2,结果部分的阅读,3,结论与讨论部分的阅读,4,第二节 研究成果的评价一、研究成果的阅读问题提出部分的阅,二、研究成果的评价,（一）整体评价,整体评价是读者或评价者对整个研究成果的内容与形式,较概括的看法，评价指标主要有如下几项,：,1,写作格式的评价,2,文字表达的评价,3,内容组织的评价,4,研究结果价值的评价,二、研究成果的评价（一）整体评价,（二）分项评价,根据研究报告或论文的组成，列举分项评价指标如下：,1,标题、摘要、关键词,2,文献综述与问题提出,3,研究方法,4,研究结果与分析讨论,5,参考文献与附录,（二）分项评价 根据研究报告或论文的组成，列举分项评价指标如,（三）论文的评价,1,质的研究论文分析标准,质的标准,1,提出问题,2,研究过程,3,讨论,（三）论文的评价1质的研究论文分析标准质的标准1 提出问题,1,提出问题,对于要研究什么是否明确，可以研究吗？,该问题的基本意思表述清楚吗？,所提供的背景信息是否与问题相关，说明了研究的必要性？,说明,:,背景信息即该问题的历史和现状,是否做了充分的文献调研,?,引用文献是否与问题相关，反映了最新观点和进展？,所引用的资料是否代表主流？,是否比较了所列出的各项研究，还是只罗列了研究结论,?,文献综述是否表述了与要研究问题的关系？,研究问题表述,/,所提出的问题是否清楚？,所提出问题是否要在特定情境下研究,?,研究问题是不是很开放，可以探索而不能验证假设,?,1 提出问题对于要研究什么是否明确，可以研究吗？,2,研究过程,选择过程是否能找到对该问题合适的参与者,/,资源？,有没有说明参与者特征和研究地点的特征,说明,:,像年龄、性别这样的基本人口统计信息一定要有,有没有采用有目的、非随机的取样策略,?,说明,:,有时候研究者需要挑选那些能否对所研究问题提供见解的参与者。,所采用的数据收集技术以及资源都很合适，值得信赖,?,是否采用了多种数据采集技术,?,是否对所用的每种技术、数据来源和量表都作了充分地介绍？,是否说明了为什么要采用这个技术、数据源和量表,?,为这项研究专门设计的技术有没有试用过？,说明,:,先用该技术对一个类似的样本做实验，可以保证该技术将来用在要研究的样本时不会出问题。,有没有讨论确保研究可信度的技术？说明,:,可信度包括研究的真实、可迁移、结论可信任、可由数据确定地导出等,是否说明了数据收集和分析的全过程？,2研究过程选择过程是否能找到对该问题合适的参与者/资源？,3,讨论,结果是否适当，有条理,?,是否详细描述了观察,/,应答？,从数据导出的每个结论、观点和推论的表述是否有道理,?,数据分析的结果是否支持研究的结论,?,是否有多个来源的证据支持结论,?,对发现的解释合理吗,?,结果是否支持结论？,研究结果与以往的研究是否一样？,有没有讨论研究的局限性,?,是否对下一步工作提出了建议,?,是否指出了对教育实践的意义,?,是否提出了进一步研究建议,?,作者是否注意不做超过本研究之外的结论推广,?,3讨论结果是否适当，有条理?,2,量的研究论文分析标准,量的标准,1,提出问题,2,研究过程,3,讨论,2量的研究论文分析标准量的标准1 提出问题2研究过程3讨论,1,提出问题,要研究的问题是否明确，可以研究,?,该问题的基本意思表述清楚吗？,所提供的背景信息是否与问题相关，说明了研究的必要性？说明,:,像该问题的历史和现状这样的背景信息必须提供（包括说明研究该问题必要性的统计数据）,是否做了充分的文献调研,?,引用文献是否与问题相关，反映了最新观点和进展？,所引用的资料是否代表主流？,所引用的资料是否大多为原始素材？,反例,:Johnson(1990)states that,Research is not fully utilized in educational improvement(Smith,1992,p.26).,这句话是,Smith,说的，不是,Johnson,的原创。,是否比较了所列出的各项研究,?,文献综述是否表述了与要研究问题的关系、要研究的实质？,1提出问题 要研究的问题是否明确，可以研究?,研究假设,/,问题的表述是否明确清楚,?,每个假设,/,研究问题是否都是按照两个变量的关系表述的？,正例,:,单亲家庭的学生比双亲家庭的学生缺勤率低。,说明了两类家庭,(,自变量,),学生缺勤率,(,因变量,),的差别，参看下面与方法有关的判断标准中相关研究的描述。,变量是否清楚定义,?,研究假设/问题的表述是否明确清楚?,2,研究过程,取样过程所取的样本是否为目标人群的代表还是本地人群的代表？,有没有样本和目标人群的描述信息？,说明,:,像年龄、性别这样的基本人口统计信息一定要有,样本选择方法是否会产生样本偏差？,说明,:,随机抽样代表性没有问题。虽然研究人员认为使用自愿者会造成样本偏差，但是大多数研究还是使用志愿者，这些志愿者在初选的时候用随机法。,研究人员和参与者的协议中是否说明了参与者应该知道他们的所有权力,?,是否给出了参加者和不参加者的精确数据，以及对这些数据的解释,2研究过程取样过程所取的样本是否为目标人群的代表还是本地人群,数据收集技术和数据源是合适的、有效的和可靠的,?,是否详细说明了每种量表或数据源,?,是否说明了使用每种量表的理由,?,为这项研究专门设计的量表有没有试用过？,说明,:,先用该量表对一个类似的样本做实验，可以保证该量表将来用在要研究的样本时候不会出问题,是否讨论了效度和信度？,说明,:,效度是测试结果对研究目的有用性的可解释程度。测试内容或者此测试结果与其它测试结果之间的关系对于评价效度有用。效度系数说明了与其它测试结果的相关程度，能够很好地预测未来某个情境下的情况。信度是对同样人群重复测试达到一致结果的程度，信度从,0,到,1,，,1,表示完全可信。,是否说明了管理、计分和解释量表的全过程？,数据收集技术和数据源是合适的、有效的和可靠的?,3,讨论,数据分析的结果是否支持研究的结论,?,结论是否由结果支持,?,研究结果与以前的研究是否一致,?,有没有讨论研究的局限性,?,是否对进一步行动提出了建议,?,是否指出了对实践的意义,?,是否提出了进一步研究建议,?,3讨论数据分析的结果是否支持研究的结论?,（四）研究报告的评价,研究报告的质量，与研究本身的质量水平和撰写研究报告的技巧有关。,了解研究报告质量评定标准，有助于研究者以此为依据构建课题研究的整体框架，并为研究者撰写研究报告提供基本思路和参照结构。,（四）研究报告的评价研究报告的质量，与研究本身的质量水平和撰,谢谢！,谢谢！,