财政支出绩效评价与项目管理(7)

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,七、绩效评价指标体系的筛选,1,1,、选择财政支出绩效评价指标应遵循的基本原则,（,1,）代表性,所选定的指标应能在某一个方面准确地刻画出评价对象的绩效。,（,4,）重要性,所选择的指标应能刻画出评价对象财政支出绩效的重要特征。,（,2,）特异性或独立性,所选取的指标应能从一定角度反映某一方面的的信息，且不能被其它指标所代替。,2,七、绩效评价指标体系的筛选,3,1,、选择财政支出绩效评价指标应遵循的基本原则,（,1,）代表性,所选定的指标应能在某一个方面准确地刻画出评价对象的绩效。,（,4,）重要性,所选择的指标应能刻画出评价对象财政支出绩效的重要特征。,（,2,）特异性或独立性,所选取的指标应能从一定角度反映某一方面的的信息，且不能被其它指标所代替。,4,（,3,）敏感性,所选取的指标应该区别力强，能较好地反映不同评价对象在财政支出绩效方面的差异。,（,4,）可靠性,所选指标真实、可靠，能准确反映实际情况。 （,5,）可获得性,所选指标为常规资料，容易得到。,5,1,、选择财政支出绩效评价指标应遵循的基本原则,（,1,）代表性,所选定的指标应能在某一个方面准确地刻画出评价对象的绩效。,（,4,）重要性,所选择的指标应能刻画出评价对象财政支出绩效的重要特征。,（,2,）特异性或独立性,所选取的指标应能从一定角度反映某一方面的的信息，且不能被其它指标所代替。,6,（,3,）敏感性,所选取的指标应该区别力强，能较好地反映不同评价对象在财政支出绩效方面的差异。,（,4,）可靠性,所选指标真实、可靠，能准确反映实际情况。 （,5,）可获得性,所选指标为常规资料，容易得到。,7,七、绩效评价指标体系的筛选,8,1,、选择财政支出绩效评价指标应遵循的基本原则,（,1,）代表性,所选定的指标应能在某一个方面准确地刻画出评价对象的绩效。,（,2,）重要性,所选择的指标应能刻画出评价对象财政支出绩效的重要特征。,（,3,）特异性或独立性,所选取的指标应能从一定角度反映某一方面的的信息，且不能被其它指标所代替。,9,（,4,）敏感性,所选取的指标应该区别力强，能较好地反映不同评价对象在财政支出绩效方面的差异。,（,5,）可靠性,所选指标真实、可靠，能准确反映实际情况。 （,6,）可获得性,所选指标为常规资料，容易得到。,10,2,、当前财政支出绩效评价指标体系构建实践中存在的问题,（,1,）不能很好地解决指标的全面性、代表性、精炼性之间的矛盾,指标体系的构建者往往希望指标体系能涵盖绩效评价应涉及的方方面面,这就很容易导致指标的数目过多,出现相关指标、冗余指标、重叠指标。,11,（,2,）对指标体系的有效性重视不足,不同的评价者基于不同的知识、经验、思维,会构建不一样的指标体系,究竟哪个指标体系更科学,得到的评价结论更有效,没有客观的标准来衡量。 （,3,）不重视指标体系的可靠性和稳定性,即使采用相同的指标体系，不同的评价专家由于对指标的理解不同,特别是某些定性指标易受主观因素的影响,致使评价结果差异较大。,12,针对第一个问题,需要对指标进行适当的约简，以恰当处理指标体系的全面性与精炼性的问题。 针对第二个问题，需要对指标体系的有效性实施科学的测度，以便形成能够充分体现绩效评价目的的指标体系。 针对第三个问题，需要对不同专家的评价数据进行差异度分析,以提高绩效评价结果的稳定性和可靠性。,13,3,、指标体系的约简,(1),有统计数据的可量化指标体系的约简 约简的目的就是剔除区分能力弱、相关性强的指标。,对于量化的、有统计数据的指标体系,可采用一些常规统计方法实施简约。,例如,条件广义方差极小法、极大不相关法、选取典型指标法等。,14,用条件广义方差极小法进行指标约简,就是用广义方差来反映指标内部的相关性。,例如，假定有,p,个指标，,n,个评价对象，各评价对象的指标值如下所示：,15,计算每一个指标的均值：,计算每一个指标的方差：,16,计算每两个指标间的协方差：,进而得到方差,-,协方差矩阵：,17,上述方差,-,协方差矩阵的行列式 ，就是所谓的广义方差。,可以证明：,当广义方差达到极大值的时候，说明,p,个指标相互独立；,而当广义方差等于零的时候，说明,p,个指标完全线性相关。,因此，广义方差的大小可以反映指标间的相关性。我们可以剔除广义方差较小的指标。,18,具体方法是：,将矩阵,X,划分成两部分：其前,p-1,列记为,X,1,，最后一列记为,X,2,，并用,S,11,、,S,22,、,S,12,表示二者的方差及协方差，则在满足正态分布的假定下，有,X,2,的条件广义方差式：,若上式的值小于一个预定的水平，就删除指标,p,。,依此类推，逐步删除与其他指标相关度较高的指标。,19,用极大不相关法进行指标约简,就是计算每一个指标与其它指标之间的线性相关程度,当大于某临界值时,可以去掉该指标。,用典型指标法进行指标约简,就是先对指标进行聚类，然后计算每一个类中每一指标与其它指标的相关系数，最后选择其中相关系数最大的指标作为该类指标中的典型指标。,20,(2),针对定量指标和定性指标并存的指标体系的约简 当指标体系中既存在定量指标,也存在定性指标时,定量指标的评价可以依据统计数据,而定性指标的评价则由专家根据知识、经验来主观评价。,针对这种类型的指标体系，可采用粗糙集方法进行指标约简。,21,运用粗糙集进行指标筛选和约简,有多种思路。,对于指标数量不太多的情形，可以快速约简，从空集开始，一个个地增加指标的个数，每一次选择增加最大分类质量,(X),的指标加入当前的指标子集。重复这一过程直到分类质量,(X),达到,1,或等于整个指标集的分类质量。,22,(3),无统计数据或统计数据非常有限的指标体系的约简 当指标体系不能获得统计数据,如对于新建系统的评价,或者所能获得的统计数据非常有限,需要依靠专家知识来进行指标的筛选和约简,可以采用,Vague,集方法。,Vague,集方法充分利用专家知识,表示专家支持、反对和弃权的情况,且方法简单易行。,23,(4),复杂非线性系统的指标体系的约简 当评价对象为复杂非线性系统时，难以通过统计数据找出指标间存在的相关性，可以利用神经网络的映射和泛化能力，基于神经网络的权值谱分析方法，将指标值作为神经网络的输入，指标到各个隐层神经元的平均权值即为指标的谱值，反映指标对输出结果的影响，最后选取对输出结果的相对贡献率大的指标，相对贡献率小的指标略去。,24,4,、评价指标的鉴别力分析,所谓评价指标的鉴别力指的是评价指标区分评价对象特征差异的能力。,如果所有的评价对象在某个评价指标上的取值高度地近似，则说明该评价指标鉴别评价对象业绩差异的能力很差，则从绩效评价的目的角度考虑，这些指标应被剔除：,最小均方差法,首先计算各评价对象在每一个指标上取值的均方差。,然后剔除其中样本均方差近似为零的指标。,极小极大离差法,首先在每一个指标下计算各评价对象的最大取值与最小取值之差。,然后剔除其中离差过小的指标。,25,(4),复杂非线性系统的指标体系的约简 当评价对象为复杂非线性系统时，难以通过统计数据找出指标间存在的相关性，可以利用神经网络的映射和泛化能力，基于神经网络的权值谱分析方法，将指标值作为神经网络的输入，指标到各个隐层神经元的平均权值即为指标的谱值，反映指标对输出结果的影响，最后选取对输出结果的相对贡献率大的指标，相对贡献率小的指标略去。,26,4,、评价指标的鉴别力分析,所谓评价指标的鉴别力指的是评价指标区分评价对象特征差异的能力。,如果所有的评价对象在某个评价指标上的取值高度地近似，则说明该评价指标鉴别评价对象业绩差异的能力很差，则从绩效评价的目的角度考虑，这些指标应被剔除：,最小均方差法,首先计算各评价对象在每一个指标上取值的均方差。,然后剔除其中样本均方差近似为零的指标。,极小极大离差法,首先在每一个指标下计算各评价对象的最大取值与最小取值之差。,然后剔除其中离差过小的指标。,27,变差系数法,我们把所有评价对象在某个指标上的取值的标准差与相应的均值之比，称为变差系数。,则变差系数越大，说明该指标的鉴别力越强。我们可以把变差系数小于特定值的指标剔除。,28,5,、指标体系有效性的测度 在多个评价者采用同一指标体系对评价对象进行评价时，认识的偏离程度越小,得出的评价结果差异越小，说明对该指标体系所具备的评价作用的认识越一致,该指标体系的有效性越强。 如果多组专家采用同一组指标的评估结果差异太大，我们就认为该指标体系不能有效实现评价的目标，就应该抛弃之。,29,(1),采用效度系数法测度指标体系的有效性 效度系数法反映了在用同一指标体系进行评价时不同专家认识的偏离程度,效度系数值越小,则指标体系的有效性越高。当指标体系的效度系数小于,0.1,时,则该指标体系的有效性较高。,这一方法可从多个评价者所建立的指标体系中选取最有效的。,30,(2),采用结构方程模型方法测度指标体系有效性 当有条件进行抽样问卷调查时,可采用结构方程模型来测度指标体系有效性。,结构方程模型是一种实证分析模型方法,通过寻找变量间内在的结构关系,以验证某种结构关系或者模型。,31,6,、指标体系稳定性和可靠性的检验 指标体系的稳定可靠性检验，重在考察对某一指标体系的多次评价结果之间的,“,差异度,”,或评价结果与理想值的,“,贴近度,”,。,如采用某指标体系得到的评价数据与,“,理想数据,”,越接近,则该指标体系反映评价对象的能力就越强,该指标体系的稳定可靠性就更高。,32,(1),通过稳定性系数检验指标体系的稳定性和可靠性 计算,s,次专家评价数据与其平均值的差异程度,从而反映出对同一指标体系,s,次评价数据的差异性,差异越小,则该指标体系稳定性越高。,33,(2),通过贴近度检验指标体系的稳定性和可靠性 由多位专家用某个指标体系对评价对象进行评价,用贴近度反映评价数据与,“,理想数据,”,之间的接近程度,接近程度越高,贴近度越大。,如果依据指标体系所得到的评价数据与,“,理想数据,”,的贴近度大于设定的阈值,则该指标体系具有较好的稳定性和可靠性。,34,确定出合适的指标体系，并得到相应的评价值之后，数据的预处理就成为最终得出评价结果之前的最后一道工序。,7,、数据预处理,(,又称规范化,),的原因,（,1,）有些指标的值越大越好，如科研成果数、科研经费等是效益型。有些指标的值越小越好，称作成本型。另有一些指标值的属性既非效益型又非成本型。例如高校的生师比值过高，学生的培养质量难以保证；比值过低；教师的工作量不饱满。,这几类指标放在同一表中不便于直接从数值大小来判断优劣，因此需要对指标数据进行预处理，使所有指标的取值与其优劣的对应关系相同。,35,(2),通过贴近度检验指标体系的稳定性和可靠性 由多位专家用某个指标体系对评价对象进行评价,用贴近度反映评价数据与,“,理想数据,”,之间的接近程度,接近程度越高,贴近度越大。,如果依据指标体系所得到的评价数据与,“,理想数据,”,的贴近度大于设定的阈值,则该指标体系具有较好的稳定性和可靠性。,36,确定出合适的指标体系，并得到相应的评价值之后，数据的预处理就成为最终得出评价结果之前的最后一道工序。,7,、数据预处理,(,又称规范化,),的原因,（,1,）有些指标的值越大越好，如科研成果数、科研经费等是效益型。有些指标的值越小越好，称作成本型。另有一些指标值的属性既非效益型又非成本型。例如高校的生师比值过高，学生的培养质量难以保证；比值过低；教师的工作量不饱满。,这几类指标放在同一表中不便于直接从数值大小来判断优劣，因此需要对指标数据进行预处理，使所有指标的取值与其优劣的对应关系相同。,37,(2),非量纲化。,由于不同指标所使用的计量单位不同，因此指标间经常不可公度。,这就需要排除量纲的选用对评估结果的影响，这就是非量纲化，亦即设法消去,(,而不是简单删去,),量纲，仅用数值的大小来反映属性值的优劣。,38,（,3,）归一化。,不同指标属性值的大小差别很大，有的指标取值动辄千万，而有的指标取值不可能超过,1,。,因此，为使得指标间的取值具有可比性，需要把属性值表中的数值归一化，亦即设法使得各指标的取值集中于,0,，,1,的区间上。,39,8,、常用的数据预处理方法举例,效益型的指标：,Z,ij,=y,ij,/ y,j,max,可见，变换后各评价对象关于该指标的取值最差不为,0,，最佳为,1,。,成本型的指标：,Z,ij,=1-y,ij,/ y,j,max,可见，变换后各评价对象关于该指标的取值值最佳不为,1,，最差为,0,。,当然，成本型的指标也可以这样规范化：,Z,ij,= / y,j,min,/y,ij,这时,变换后的属性值最差不为,0,，最佳为,1,。,40,