高等职业院校人才培养工作状态数据采集平台数据分析策略.ppt

高等职业院校人才培养工作状态数据采集平台数据分析策略,万力维2010年4月琼海,一、数据平台设计的意图二、开展平台数据分析的意义三、平台数据分析的前期准备四、平台数据的几种分析模式五、数据平台的延伸开发,一、数据平台设计的意图,（一）增强评估的科学性：以科学的理论作为评估方案设计的基础。1.工商管理领域的绩效评价理论：,一、数据平台设计的意图,指标逻辑：果因效。,主要成效区,（KRA）,关键成功因素,（KSF）,主要业绩指标,（KPI）,由“果”切入主要根据状态数据采集平台提供的真实、即时、足够、数据化的信息判断KPI。探究成“因”通过数据分析和“深度访谈”，典型剖析，查找原因，分析KSF。做出“成效”判断通过将信息连点成线、连线成网、由网及里、由里定性，作出KAR判断。,一、数据平台设计的意图,（一）增强评估的科学性：以科学的理论作为评估方案设计的基础。2.Bohns的知识成长阶段理论：知识的成长经历从内隐到完全外显的8个阶段：,外显,内隐,2,3,4,5,6,7,通过对平台处于原始状态的数据进行智能化组合加工提升后，形成关于院校人才培养工作的新信息，探索院校人才培养工作之间的“果因效”联系和规律性。,交流共享平台,智能化加工层,数据库,一、数据平台设计的意图,（二）增强评估的长效性。加强日常监控，对高职院校的评估改“一次性评估”为“实时的状态数据监控+5年一轮的现场考察”的模式进行。让监控无时不在、无处不在，迫使院校有序运作，主动调控，自觉建立起发展性的质量保障体系，从而在机制上保证评估的常规化、长效性。,一、数据平台设计的意图,（三）体现办学类型的职业性。不同于高校基本数据报表，依据教育部关于全面提高高等职业教育教学质量的若干意见（教高【2006】16号文）对高等职业教育人才培养工作的基本要求和基本标准为依据设计评估指标体系，突出高职人才培养的质量与类型差别，如对领导作用、师资队伍、专业建设、课程建设、实践教学、教学管理、社会评价七大主要指标的考察都贯串校企合作、工学结合这一主线和核心主题。,二、开展平台数据分析的意义,1.信息不整理，一团糟。零件不安装，乱成堆。2.从讲成绩向讲问题转变，找到问题去解决才可能发展，少谈些主义，多研究些问题3.有过程、有活动、有记载、有分析。陈解放研究员,二、开展平台数据分析的意义,（一）对学校：全面、准确的认识自己，找准办学定位。增强学校管理决策的科学性和有效性。为制订和实施战略规划提供数据支撑接受资格评审的数据说明进行绩效考评与问责的依据,二、开展平台数据分析的意义,（二）对评估加强学校与评估专家之间的沟通使专家的评估更为科学、高效。（三）对政府、社会使政府对学校人才培养工作的监测更加全面、准确，学校与社会之间的沟通更加全面、直接。,二、开展平台数据分析的意义,（四）对研究为高等教育研究揭示规律和意义提供大量翔实、真实的个案分析资料，有助于高等教育理论与实践的结合。,二、平台数据分析的前期准备,（一）准确界定数据条目，完整、有效采集数据。1.合理定义与解读数据条目：如考核方式、合作开发课程、业内就业率、横向课题、双师型，如顶岗实习半年是自然年？学年？A类课程、B类课程、C类课程?）定义要前后一致，是数据分类和筛选的基础2.确定数据来源部门和来源人：数据平台联络员制，部门数据发言人、“官方来源”，统一数据报告口径。3.完整、及时、高质量采集数据,二、平台数据分析的前期准备,（二）做好关键绩效指标（KPI）和关键影响因素(KSF)设计内部期待值、坐标值，关键指标、数据指标以“课程建设”主要业绩指标（KPI）、关键影响因素（KSF）评估设计为例：1.设计思路：依次按以下四步设计方案：第一步：确定政策、理念、事实依据，作为设计的指导思想。,一是以教育部关于全面提高高等职业教育教学质量的若干意见（教高【2006】16号文）对高等职业教育课程建设的要求为根本依据，绩效指标的设计要反映办学宗旨。二是以高等职业院校人才培养工作评估方案（教高【2008】5号文）中“课程建设”评估指标中的“说明”为基本衡量标准。三是以“高等职业院校人才培养工作状态数据采集平台”为对象，既从平台中找KPI，也尽可能在平台中寻找KSF,以相关数据事实作为KSF论证KPI，尽量使对KSF的分析建立在数据平台的基础上，力求达到尽可能让事实说话。,第二步：通过先寻找、再列举、后筛选，初步确定KPI。浏览高等职业院校人才培养工作状态数据采集平台，按照上述四大依据，根据个人经验，采用排除法或筛选法，分别逐一判断能体现“课程内容”、“教学方法与手段”、“主讲教师”、“教学资料”业绩的可能数量指标。如反映“课程内容”的可能的业绩指标有各级精品课程门数、校企合作开发课程门数、实践环节课时数、有实践考核的课程门数、毕业生职业资格证书获取率等。然后进一步按照表现力（最能体现高职“课程内容”设计的职业性、开放性、实践性等类型特征的指标）、关系密切程度（如直接反映“课程内容”改革或间接反映“课程内容”改革的业绩指标），初步确定KPI。,第三步：按照分类别、定层次、明因果的步骤，列出可能的KSF。如初步确定反映“课程内容”的KPI为“校企合作开发课程门数占课程总门数的比例、必修课中实践课时占比的平均比值、毕业生职业资格证书获取率”后，或者按照“理念、组织、机制、队伍”的分类，或者按照“学校、教师、专业、课程”的分类，或者按照“内部因素、外部因素”的分类，或者按照“起点、过程、结果”的分类，通过发散思维列举各类别可能的KSF因素，根据经验排除各类因素中一些非影响因素和弱影响因素。以课程建设评估设计方案为例.doc,第三步：按照分类别、定层次、明因果的步骤，列出可能的KSF。然后，确定各类因素从哪个层面影响KPI，将过于宏观的因素具体化，将太具体的因素再合并、提炼成更概括些的因素。最后，从因素之间的相互作用关系，包括“课程建设”内部要素的相互作用关系，分析因素之间因果循环、一果多因、多因多果等可能的交错关联，分析出直接影响因素背后的间接影响因素、显性影响因素背后的隐性影响因素，一般将直接影响因素和显性影响因素作为KSF，背后的影响因素作为专家进一步追根溯源探索的路向，但先不列为KSF。以课程建设评估设计方案为例.doc,第四步：按照KPI以数量标识，KSF为中性语陈述句描述的模式，统一表达形式。对KPI：一种情况是平台上有反映KPI的直接数据或汇总数据的，就直接用平台数据及其字段规范名称；另一种情况是平台上没有直接数据或汇总数据，则用运算出的数值表示，并列出该数值的运算方法。对KSF：按照中性语的陈述句表达。如不用“加强”、“具有”、“健全”、“忽视”等带有好、差倾向性的用词，使KSF作为校校可能不同的“因变量”的形象出现。句式结构第一种是用“名词+动词”式，一方面暗指导致KPI的KSF是主体的行动因素，另一方面对后续针对KSF提出对策，指导行动改善有指导意义。第二种是用“限定词+名词”式，使KSF的类别、层面更明确。第三种是“限定词+名词+动词”的混合式，既避免笼统、泛化，以便准确确定KSF，又为进一步提出行动对策打下基础。以课程建设评估设计方案为例.doc,二、设计主要业绩指标（KPI）和主要影响因素（KSF）,“社会评价”设计思路“社会评价”设计方案以“社会评价”评估设计方案为例.doc,学校层面KPI的一种设计,4.任课教师结构,5实践教学结构,6.产学合作成果,7.新生报到率,8.毕业生业内就业率,3.生师比,2.经费支出结构,1.经费收入来源结构,4.任课教师结构,5实践教学结构,6.产学合作成果,主要评估指标分析关键绩效指标（KPI）,主要评估指标分析关键绩效指标（KPI）,主要评估指标分析关键绩效指标（KPI）,主要评估指标分析关键绩效指标（KPI）,主要评估指标分析关键绩效指标（KPI）,主要评估指标分析关键绩效指标（KPI）,二、平台数据分析的前期准备,（三）收集、明确数据分析的基准：尊重标准1.法定基准：2.自定基准：3.同类基准：4.全国、全省基准：,二、平台数据分析的前期准备,（四）形成以数据为中心、尊重数据的氛围。,四、平台数据的几种分析模式,3.结构分析,2.比较分析,5.离散程度分析,4.差异分析,1.达标分析,6.因素分析,（一）达标分析,法定标准达成分析：相关指标达到法定标准或准法定标准的情况分析。如实验实训室生均面积，职业资格证书获取率生师比、达到学校规划目标的标准等,（二）比较分析,相对基准达成分析：相关指标达到某个比较标准的情况分析。要尽可能的进行纵向和横向的比较分析纵向和横向的比较，不仅可在省与省之间进行、院校之间进行，还可以在专业、课程等层面进行。,（二）比较分析,横向比较与先进相比，副高以上职称占校内专兼职教师比例数，占在校生比例数，折合兼职教师数与专任教师数的比例。（如示范院校）与平均数（如全国、全省平均数）相比，副高以上职称占校内专兼职教师比例数，占在校生比例数。与同类院校（专业）相比，超过的指标，较低的指标，如法律文秘专业的业内就业率不同专业报到率、业内就业率比较分析，如法律专业不同专业聘请兼职教师人数比较分析,（二）比较分析,纵向比较与自身相比（如5年前），校企合作开发课程门数占必修课门数的比例，增加10%，或者减少10%，就业率提高或降低5%等。,（三）结构分析,结构分布情况分析：结构变化情况分析：结构符合度分析：,（四）离散程度分析,专业规模离散程度分析教师承担课时量与课程门数离散程度分析,2008年上海高职概况,学校平均专业数：20个专业的离散程度：最多32，最少3个，集中在2028区间。专业平均规模数：185人学校平均规模数：3622人,（五）差异与奇异程度分析,获奖学金人数比例与受处分学生人数比例差异分析各专业录取与报到率差异分析,（六）因素分析（因果关联度分析）,自变量（预测变量）、因变量（结果变量）的关系，自变量对因变量的影响程度多元回归分析如学生对入学教育的满意程度（学业水平与认知技能、同教师的联系、参加课外活动、教学服务、时间安排与学习进度、使用教材、对学校的满意度等，其中如何安排时间和学习进度、健康知识、对学校的满意度影响程度更高）,（六）因素分析（因果关联度分析）,学生背景对转专业的影响因素分析：成绩、性别、学校规模、家庭、就业市场变化、同学交流等背景因素（I）、环境因素（E）先描述统计（各专业变更频率统计）再推断统计（回归分析，列回归方程）,（六）因素分析（因果关联度分析）,就业率评估可控自变量（课程、实训、指导等）、非可控自变量（学生家庭社会经济地位、当地经济发展等）,所有数据分析,每一条数据都有意涵对合理的标准是什么要心中有数，有的是精确标准，有的是大致标准。关注数据的前后呼应（如生师比，教师人均课时量）对偏离常态（奇高或奇低）数据要敏感。,所有数据分析,挖掘数据背后的因果关联要尽可能的进行纵向和横向的比较，从发展趋势分析影响因素与影响强度，从在同类中的位置，发现造成其优、劣的根本原因。,数据分析报告大体格式,总：数据综述（回答评估准入条件）分：主要评估指标数据分析，或院校KPI指标分析，或专业、课程、教师、学生等层面数据分析等（业绩、问题、归因）总：存在问题归纳及改进计划,五、数据平台的延伸开发,（一）延伸开发项目数据库及其KPI、KSF1.主要向四个层面延伸：专业、课程、教师、学生(全员质量保障，将质量落实到每个人，每门课程、每个专业，各自负起质量保障责任)。2.也可以按照部门延伸开发：如后勤工作、信息化建设等，将质量保障落实到每个部门、每个岗位。,五、数据平台的延伸开发,（一）延伸开发项目数据库及其KPI、KSF关键要素质量标准质量目标质量计划质量监控信息采集（写实！）,五、数据平台的延伸开发,（二）开发“管理仪表盘（DASHBOARD）”探索KPI、KSF，确立“果因效”体系实现实时数据汇总和纵横向比较，获取“奇异点”信息,五、数据平台的延伸开发,在校内开发延伸平台把评估模式变成管理模式把专家诊断变成自我诊断把每五年评估变成日常监测自我约束、自我发展的良性循环。,欢迎批评指正,谢谢！,