评价研究的起点

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2010/7/19,#,评价研究的起点,2010,年,7,月,20,日,1,无处不在的评价,2,无处不在的评价,3,无处不在的评价,4,无处不在的评价,5,无处不在的评价,体育比赛：跳水、体操,.,娱乐竞争：春哥与曾哥，美国偶像、英国达人,.,研究生保送：成绩、社会活动、科研绩效,.,大学排名：声望、项目、科研成果,企业排行榜：财富、员工数、信用,国家排行榜：竞争力、影响力、腐败力,6,为什么评价那么重要,?,7,为什么评价那么重要,?,8,山东新泰任命副局级干部公示名单,刘婷婷，女，山东新泰人，,1984,年,12,月出生，大学学历，现任岱岳区人民法院立案庭助理审判员，拟任新泰市人民法院副院长。,王鹏，安徽萧县人，,1984,年,10,月出生，大学学历，管理学学士，现任新泰市财政局企业科办事员，拟任新泰市审计局副局长。,吕玉婧，女，山东莱芜人，,1983,年,10,月出生，大学学历，法学学士，现任新泰市人民法院开发区法庭书记员，拟任新泰市司法局副局长。,张圣银，山东费县人，,1976,年,3,月出生，研究生，工学硕士，现任潍坊滨海经济开发区交通局基建科办事员，拟任新泰市建设局副局长。,朱勇峰，山东莱芜人，,1981,年,1,月出生，大学学历，工学学士，现任新泰市建筑设计院助理工程师、刘杜镇副镇长（科技），拟任新泰市规划局副局长。,王 然，女，山东新泰人，,1986,年,7,月出生，大学学历，管理学学士、经济学学士，现任新泰市纪委案件审理室科员，拟任新泰市国有资产管理局副局长。,李临涛，河南郑州人，,1982,年,3,月出生，大学学历，管理学学士，现任新泰市人民检察院行装科科员，拟任新泰市国有资产管理局副局长。,9,为什么评价那么重要,?,中考、高考和考研,大学排名与择校,职称评定规则和院士评选公关,世界杯与中国足球,有毒金融资产与金融危机,精英选拔与社会进步,个人选择、合作激励、组织效率、集体理性,10,为什么评价那么重要,?,中考、高考和考研,大学排名与择校,职称评定规则和院士评选公关,世界杯与中国足球,有毒金融资产与金融危机,精英选拔与社会进步,个人选择、合作激励、组织效率、集体理性,11,这样的评价结果你该相信么,?,12,这样的评价结果你该相信么,?,13,这样的评价结果你该相信么,?,14,这样的评价结果你该相信么,?,15,这样的评价结果你该相信么,?,企业评级和评奖（南京楼歪歪、加胺牛奶）。,企业资产的评级,评价的“通货膨胀”现象：学生干部、博士和教授,中国的杂志和外国的杂志,中国大学评价,世界大学评价,16,“以偏概全”是常态,被评价对象往往是复杂多样的，而人们能够看到的往往只是其中一个方面；,被评价对象的真实往往是被隐藏的，人们需要时间和识别能力才能接近真实；,认识评价对象有时是需要非常专门的知识的，没有经过特殊的训练和学习是不能做到的。,17,专业的评价者是必需的,恰当的个人选择和有效的组织管理依赖于正确的评价,个人知识、时间和能力的限制，使得我们在多数情况下都无法给出正确的评价,社会的精细分工和信息的爆炸性增长使我们自己在评价方面越来越无能为力，只有依靠专业性的评价者。,18,评价专家的“败德”行为,总统选举和超女海选；,专业教师、美食家、体育裁判,审稿和项目评审,贿选、黑哨和幕后交易,专家变“砖家”，教授成“叫兽”,评价者常常有可能在利益驱动下有意给出扭曲的评价结果。,19,引入评价系统,完全依赖自己去进行相关的评价是不能的；,单个人的评价总是片面的，但是每个人都可能给出“事实”的一个侧面；,专家的评价有可能是扭曲的；,我们需要建立有效的评价系统，它能够集中大量的片段的、有偏差的评价信息，发展先进的信息挖掘技术，给出背后完整的真实。,20,模型,:,完备的评价体系,M,个评价对象，每个都拥有一个内在的质量,N,个评价者， 每个都有一个先验给定的判断能力,每个评价者,i,都给目标,l,打出了自己的分数，因此，我们有一个完整的打分集合：,21,打分的组分,由评价者,i,给目标,l,打出的分数基本由下面三个成分组成,其中,被评价对象的内在质量在评价者,i,上的投影；,是评价者,i,给目标,l,打分时 的系统偏差，反映了评价者的主观倾向,；,是评价者在打分时表现出来的随机偏差，这个随机量的方差是 ，它 反映了评价者的判断能力大小,22,完善的评价体系,一个好的评价体系就是从统计上对评价结果进行有效的系统分析和集成，尽可能消除评价者打分中的有意倾斜和因判断能力有限所带来的误差，从而给出被评价对象的真实质量水平。,揭示评价对象的真实质量；,寻求胜任的评价者,.,23,评价分析的几种特定情形,评价对象是单纯的,评价结果中只包含随机的误差项,评价者的评价能力有差别,评价结果中只包含主观的取向,24,评价分析的几种特定情形,评价对象是多面性的,评价结果中包含随机的误差项,评价者的评价能力有差别,评价结果中包含主观的取向,25,1,、平均离差算法,目标,l,得到的打分的简单平均分,目标,l,得到的打分的加权平均分,26,1,、平均离差算法,评价者,i,的打分与平均值的偏差,评价者群体给出评价的可信性,27,2,、迭代寻优算法,目标,l,得到的打分的加权平均,(1),评价者,I,的样本方差,(2),评价者,i,的判断能力,(3),评价者,i,的打分的权重值,(4),28,2,、迭代寻优算法,最初由于缺少额外信息，简单地,设置,用方程（,1,）估计,q,l,用方程（,2,）估计,V,i,用方程（,4,）计算各个打分的权重,重复步骤,II,到步骤,IV,29,3,、相关网络度排序算法,对每一个评价者,i,，从他的打分都可以给出对所有评价者的排序。,采用,Spearman,相关系数计算任意两个评价者之间的排序结果之间相似程度的大小,其中,d,为两个排序之间的距离,30,3,、相关网络度排序算法,把每个评价者看作一个点，按照评价者之间的相似程度大小确定边的链接规则，构造一个评价者的关系网络。,给定一个相关系数的临界临界值,S,k,，凡是相关系数大于这个值的两个评价者之间连边，相关系数小于这个值的不连边。,按照度的大小对所有评价者进行排序，以此反映评价者的评价能力大小 。,31,3,、相关网络度排序算法,利用评价者的连边数计算每个评价者给出评价的权重,计算最后真实的被评价对象,l,的打分结果,32,给世界大学排名机构排名,排序,评价机构,1,leidenPCPPFCSm,2,Heeact,3,AcademicRanking,4,GlobalRanking,5,leidenCPP,6,SCImago,7,leidenCPPFCSm,8,Webometrics,9,leidenP,10,icu4,11,Times,33,大学排名变动性的比较,34,