浅谈气象服务社会满意度评价指标的设计

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,浅谈气象服务社会满意度评价指标的设计,浙江省气象台,王镇铭 石蓉蓉 张 炎,引言：问题的提出,当前气象服务涉及（渗透到）方方面面，充分体现了气象服务与经济社会发展的紧密结合，气象服务以适应社会公众需求为发展宗旨的目的性越来越明确。主要展现：,1,、信息内容丰富：从常规天气要素、灾害性天气预警报信息到生活气象指数；,2,、信息时效宽泛：从临近,0-2,小时到一周至一旬，甚至更长；,3,、信息方式多样性：广播、电视、报刊、手机短信、声讯电话、公众显示屏、网络,；,在现有成绩面前更需为发展来思考“气象服务社会公众认可度问题”：,？哪些气象服务的“成分”是社会满意,比较认同,？哪些气象服务的“成分”社会认为是欠缺或不足,有需求差距？其由因是什么,?,社会认同的作为经验发展，社会有意见或建议的要及时作出完善、改进。,“居安思危”，一切需要发展,一切为了发展。,气象服务社会满意度评价体系基本假设,气象服务社会满意度评价指标层次设计,气象服务社会满意度评价指标度量设计,浙江省公众气象服务满意度调查实例分析,进一步提高气象服务社会满意度若干建议,气象服务社会满意度评价体系基本假设,1,、气象服务是可以用满意度评价的一种公共产品,2,、公共产品“顾客满意度”可以定义为,:,顾客在使用某种产品或享受某项服务以后，形成满意或不满意的态度。,其社会满意度评价来源于公众对其相关评价成分的关注程度，社会对其各相关评价成分各自满意程度的“综合”即为其总体满意程度。,类似当前社会上开展的多“评选,”:,幸福城市、易居城市、最有竞争力城市、,目前国际上通常把,感知质量,和,顾客期望,作为产品和服务评判顾客满意度的两大基本要素。,感知质量,评价标准不同于普通意义上的质量，其好坏取决于在一定范围内，企业所提供产品或服务与顾客所期望产品或服务之间的差距，其通常用,整体质量,、,可靠性,、,产品或服务能满足顾客需求,3,个程序变量来测量。,顾客期望,是顾客利用过去经验性或非经验性信息对企业未来所提供产品或服务质量进行判断与预测。这种期望是基于其消费经验和对企业行为逐步了解建立起来的，是一种累计认识，其所包含信息不是实际消费经历为基础，而是从外部资源中获得关于质量的累计性信息，如口碑、媒体评价满意度。,基本假设下的重点关注,:,气象信息作为一个公共信息产品，评价其满意度的指标在上述,感知质量,和,顾客期望,两大要素方面反映出的信息是什么？,搜索到的国外同类事件基本情况：,除灾害性天气预报警报服务由官方业务部门提供外，其他公众服务（包括面向公众个体经营的商业活动服务）一般采取与我国现行专业气象服务类似的方式。,一个显著特点（现象）：商业化气息很强,美国,采用的气象服务满意度指数是从服务质量发展而来，评价因子主要是服务产品上网数量、专业广播覆盖率等；,澳大利亚,采用多类预报质量的综合评价；,日本、加拿大,等国主要考虑服务的投诉率等可统计测量指标；,上述情况显示西方国家一般采取一个或几个简单的“终极性”指标来评价衡量公众气象满意度。,这种评价方式似乎重结果、轻过程，与我国社会文化背景、公众气象服务宗旨等有较明显差异。,中国气象局业务体制改革发展要求，我国公众气象服务要求各级气象台站在充分考虑服务受众群体不同需求时，要更多地要体现气象服务的过程化和人性化：无微不至、无处不在。,各省多年来一直在积极探索相关评价方法，但客观上由于各地经济社会发展需求有差别，,各地公众实践工作中对气象服务满意度内涵有不同的理解,（了解气象专业内涵水平、应用气象领域与范围、对气象因科学技术发展能力而,“,失误,”,的,“,容忍程度,”,等），因此目前全国尚未形成一致性或相对标准的气象服务满意度评价体系。,浙江省积极探索气象服务满意度评价体系，采取的主要方式是：,以需求定目标（,“,倒置法,”,），体现需求牵引理念，让社会来帮我们回答问题。,问计社会的方式,社会调查,未知情况下的通用社会调查方式,“,访谈法”，主要是最大程度克服调查主观影响程度，体现“非诱导性”。,“防谈法”总体围绕公共服务产品普遍关注要点：,1,、你眼中的气象是怎么回事？（切入点）,2,、为什么我要关心气象？（需求问题）,3,、我关心气象什么信息、到什么程度？（评价指标）,4,、我对其使用消费满意程度（投入与期望之比）。,结合气象信息属性提炼上述访谈陈述内容要点，近两年时间随机走访广场、社区、行政单位等近,500,人，经分析汇总，社会对气象信息关注“成分”集中体现在以下对其需求目的性四个方面：,1,、信息针对性,：,该产品或服务核心内容是否在提供的信息中可以得到。,2,、信息准确性：,按照一定评判规则，这些信息与实际情况相比较的差异程度。,3,、信息时效性,：,信息提供是否满足客户对其时效需求，换言之信息是否能在客户所需要时间限度内送达客户目的地。,4,、信息便易性,：,客户基于本体实际情况，能否“随心所欲”清楚地获取想需要信息的方便程度。,按照通用调查分析理论，上述四大特性可以作为气象服务社会满意度评价的基本指标体系。,当然具体客户群体上述四大特征指标又有不同需求。如“信息准确性”，公众对其,定性,关注程度有时比关注,定量,更明显；又如“信息时效性”，一般城镇公众重点关心白天时段气象信息（主要是晴雨信息），时效在,12,小时以内，而乡村公众关心是第二天气象信息，时效在,12,小时以上。,为什么这样归纳是可行的,上述基本指标体系客观性和科学性需要检验：,方式：把上述指标以问题形式隐含于书面调查问卷中，即采取“扩大”调查内容范围方式，参考中国气象局,公众气象服务满意度调查试行规定,附录调查问卷内容，结合浙江气象服务实践，设计出相关调查问卷（,16,个单项或多项选择、,2,个建议陈述）。,检验方式：,采用主成分分析方法。,根据特征值大于,1,原则（前,4,个公共因子其累计方差贡献率为,82.63%,）确定以下,5,个为入选问题：,第,2,题“您关注气象信息主要目的是哪项需要？”,第,3,题“您目前获取气象信息主要渠道？”,第,6,题“您关注哪些类型气象信息”,第,7,题“您最关心的天气预报时效是多少？”,第,8,题“您对目前天气预报准确率总体感觉”,上述结果与“访谈法”提炼评价指标要素基本一致。从中可以认定“针对性”、“准确性”、“时效性”和“便易性”可以作为评价社会公众气象服务满意度的第一层次指标体系。,气象服务社会满意度评价指标的层次设计,多次（多年）调查实例表明：,单项需求选择分析，九成以上社会公众对气象信息关注的第一目的是为了生活安排，如衣着、出行等，只有不足一成社会公众关心气象信息的第一目的是为了生产管理目的，如运输安排、产量控制等。,多项需求选择分析，生活安排仍是社会公众关注气象信息的第一目的，同时还有生产管理类服务需要。,上述分析：目前浙江公众对气象服务认识与其专业内涵相比差距很大，气象服务的趋利避害、发展经济、提高生活质量等方面中的作用尚未在公众中充分体现，气象服务融合社会需求的道路仍很漫长。,为体现社会服务公共性（普遍性）原则，以下仅对公众气象服务的针对性、准确性、时效性、便易性展开讨论。,1,、针对性是服务客户目的所在，即社会客户关心的内容。,从调查结果折射出信息表明，公众关心气象对其生活方方面面影响，重点体现在生活安排和减少灾害性天气影响两大方面，特别是,灾害性天气影响的关注程度列所有调查项目的首位,，充分说明公众对其敏感程度，因此从针对性分析，灾害性天气信息和常规气象要素应作为社会满意度评价的核心内容。,相关内容今后应随着公众对气象应用的理解不断丰富。,2,、准确性是服务客户期望所在。,从其要件分析，具体应包括定性评价和定量分析两部分，“有”“无”定性评价是服务满意度底线，差异程度的定量核定是服务优化与提高的关键。,从这一层次分析，现有中国气象局,2005,年制定的“梯级”短期预报评分办法和浙江省局,2003,年制定等级“误差”短期评分办法都体现了这一评价思想，即实现了对准确性的基本衡量。,3,、时效性是服务客户合理利用气象信息前提,没有时效，信息就是废品。,公众对气象信息的时效性关注内容分两方面：,一是信息内容所覆盖的时效长度，如,0-72,小时；,二是信息内容的提前量（预报预警时效）。,前一方面反映的是业务可预报性问题，公众层面上反映的只是总体感觉，对其实际业务有效性应由业务专业管理办法所评价。,后一方面基于社会需求和业务能力两大因素决定，因此在评定时应充分考虑公众期望值和实际业务预警预报能力。,建议应针对不同天气尺度过程，其评判指标采取正向误差值（实际预警预报时机与期望时效之差）或以其两者比值衡定。,实际操作中，对一些诸如冷空气等易提前预报预警天气过程设定阀值，调查表明公众最关心时效是,0-72,小时。,对同一事件，过早、过频的预报预警反而引起公众警觉程度降低。亲属圈、同学圈、朋友圈等调研，他们一般问我“后天天气”占极大多数（大概“明天天气”手机短信、电视上已有），更长时间的几乎没有。,法国气象专家观点：,3,天以内的预报是比较可信的，,3,天以后？,4,、便易性是气象信息取得最大程度覆盖的基础,调查分析反映，公众对气象信息便捷性包括以下若干方面：,一是气象信息覆盖城乡程度；,二是获取途径是否便捷，是否充分利用了现有经济社会发展的信息传播手段；,三是信息提供的“生动性”，专业部门在表述气象信息时是否采用公众易于接受的表达形式，对客户有亲和力，公众愿意接受；,四是获取信息的可理解性，即公众对专业部门提供的气象信息理解应用的全面程度；,五是日常接受气象信息宣传的方便程度。,综合上述分析，可以把气象服务社会满意度评价设计为两个层次指标，上一层次指标可具体分离为一个或若干个下一层次指标，具体如下：,针对性：信息容量丰富度,准确性：定性准确性、定量误差程度,时效性：预报时效满足度、预报预警提前量,便易性：覆盖面、获取方式便利度、表述方式亲和力、可理解程度、信息宣传广泛性,上述指标，除“信息容量丰富度”和“预报时效满足度”一般只能进行定性评定外，其他指标均可从定性评定向定量评定转化。,根据上述分析，可以把气象服务社会满意度评价设计为两个层次指标，上一层次指标可具体分离为一个或若干个下一层次指标，具体如下：,针对性：信息容量丰富度,准确性：定性准确性,/,定量误差程度,时效性：预报时效满足度,/,预报预警提前量,便易性：覆盖面,/,获取方式便利度,/,表述方式亲和力,/,可理解程度,/,信息宣传广泛性,上述,10,个指标，除“信息容量丰富度”和“预报时效满足度”一般只能进行定性评定外，其他指标均可从定性评定向定量评定转化。,定性评价与定量评价,按照定性和定量评价普遍原则，气象服务社会满意度评价指标也可度量设计：,定性评价,“,量表测量法”,四级：“很满意”、“较满意”、“一般”、“不满意”,五级：“很满意”、“较满意”、“一般”、“不满意”、“很不满意”,定量评价直接以百分比显示，如,78%,。,定量评价也可转化为定性评价,可以根据以往或现有调查成果为“基准量值”（参照系），在此基础上根据“质量提高程度”进行分级判定，按分级情况再进行定性评价来衡定其满意度，即把基本满意程度重新分类为相对满意程度。,如某类气象信息以往定性准确率为,80%,，以此为“基准量值”，以每提高,1.5%,、,0.5-1.5%,、,-0.5-0.5%,、,-0.5%,为满意度提高很好、较好、一般、不好标准，则如下一年度实际定性准确率为,79%,时，则其相对满意程度评定为“不好”等级。,社会关注的应是专业部门重点思考的。,为切实掌握社会关注重点内容，针对评价体系中所列指标项目，随机访谈公众客户，分别采用,两种方式,请公众客户评价气象服务关注程度，主要是为了了解结果有什么差异：,一是对上述,10,个指标按关注程度进行排序，目的是分析掌握公众最关注气象服务哪些方面；,二是直接对各个指标以定量百分比方式评价满意度，综合了解公众对各指标的期望值。,结果：,