政府整体绩效评价的公众满意度调查问卷设计
2016年09月13日 | 作者: adminlin | 分类: 公共服务满意度 |
一、问题的提出
公众满意是我国政府绩效评价指标体系中的软肋。邓小平曾指出,人民满意不满意、人民高兴不高兴、人民赞成不赞成、人民答应不答应是判断中国特色社会主义一切工作成败得失的重要依据。回顾我国政府绩效评价的方式,以自上而下的内部评价居多,公众的外部评价极少。这种行政主导、人民缺位的内部评价方式与人民政府、执政为民、民主参与的理念有较大差距。人民满意是我国各级政府的终极目标,也是行政合法性的基石,理应成为评价政府工作的基础性指标。从这个意义上说,人民评价政府乃天经地义之事。这并非技术驱动,而是政治要求。为此,以去行政化与去内部化为主要趋势的社会化与外部化评价已成为我国政府绩效评价探索的方向。
近年来,我国政府绩效评价正在从政府主导)自我评估的单一模式,逐步向包括政府主导)公民参与在内的多元模式转变,个别地方出现了民众评议政府、民评官的评价方式。典型的如江苏的万人评议政府和安徽的50万人行风评议。但是,行政化无孔不入而导致了第三方严重稀缺,致使以公众满意为导向、独立第三方评价政府绩效的缺失。2004年,甘肃省政府委托第三方兰州大学对地方政府绩效进行评价,开了以公众满意度导向、第三方评价政府的先河。2007年,华南理工大学课题组自主选题,作为独立第三方完成了对广东各县以及地级以上市政府的整体绩效评价,引起社会关注,被主流媒体称之为破冰之举和广东试验。 在此项研究中,如何演绎公众满意度调查的理论与方法,并形成可操作性的调查思路、内容、执行方案是学界普遍关注的技术问题。本文以广东试验为背景,对独立第三方评价地方政府整体绩效的公众满意度调查问卷的设计与优化展开研究。
二、公众满意度调查问卷设计
公众满意度调查一般使用问卷调查的方法。问卷是直接测度公众满意度的工具。问卷设计的依据
是公众满意度的概念模型。
(一) 问卷设计基本要求
公众满意度调查问卷的设计有其特殊要求,不仅需要与整体绩效概念相符,而且还必须准确反映概念模型。首先,指标要与整体绩效评价方案匹配。政府整体绩效评价应该包括客观评价与主观评价,主观评价服务于客观评价,因此在设计公众满意度评价指标体系时应与评价方案匹配。其次,问卷必须准确反映测评模型变量的含义。政府整体绩效评价测评模型是一个因果关系模型,该模型包含5个结构变量,它们是政府形象、公众预期、感知质量、公众满意度和公众抱怨,每个结构变量对应相应的观测变量。调查问卷是测评模型的操作化与具体化,设计问卷必须准确把握测评模型中各个变量的含义,尤是如何把抽象的观测变量准确地转换为问题。再次,问卷中的问题必须通俗易懂。与一般的市场调查不同,公众满意度调查主要是公众对公共产品质量或服务质量问题的主观评价。如何将复杂问题简单化、抽象问题具体化并让公众易于准确回答成为问卷设计环节的核心问题。最后,指标的选择要考虑实施的可行性。这是设置顾客满意度评价指标体系必须考虑的一项重要因素。离开了实施的可行性,再科学、合理、系统和全面的评价指标体系也是枉然。实施的可行性包括操作的可行性、可控制性以及经济性。
(二)问卷设计思路
1.满意度导向层的确定
根据上述的设计思路和模型结构,问卷内容或指标应包括政府形象、公众期望、公众感知质量、公众满意度、公众抱怨五个方面。理论上,每一个方面又可操作化为更具体的评价内容。在四级指标层级中,二、三层级主要是对应第一层级依次展开,而上一层次则是通过下一层测评结果反映出来,从而形成层层展开的关系。第四级指标由前面的三个层级衍生出来,形成公众满意度测评中直接面对公众的具体指标,并与公众满意度测评问卷中的问题相对应的。同时,为尽量避免和减少测评偏差,按照惯例,一般采取3个或3个以上的问题来测评一个大类指标,即第二层级指标对应3个或3个以上的四级指标。根据四级指标初步选定问卷条目之后,再进行定性和定量的预研究,形成初步问卷。
2.满意度指标层级
公众满意度测评的具体指标设计应该体现三种导向:一是着眼于公众所关心的问题,体察公众的基本需求,从而选择公众认为最重要、最能够评估政府绩效的指标,包括工作与收入评价、社会治安、医疗保障、政府作为和廉政等与地方政府职能关联密切的内容。这既要测评公众的满意程度,又要了解与公众期望之间的差距。二是平衡各地方差异。由于各地区之间在人口、经济、文化等方面存在差异,政府职能、决策或制度会有自身的特点,问卷及问题应有广泛的适用性,使不同地区的评价结果具有可比性。三是操作的可行性。这就要求指标有较大的可选性。如华南理工大学课题组对广东省地方政府整体绩效评价的公众满意度指标三级体系如图1所示。
从技术层面角度来看,体现满意度导向的地方政府绩效评价有两种方案,一是将公众满意调查置于经济发展、社会公正、保护环境、政府成本4个领域层的具体指标之中,每一个指标的评价结果均由客观得分和主观得分所构成;二是将公众满意指标领域层与经济发展、社会公正、保护环境、政府成本平行作为第5个领域层。对两种方案进行比较后发现,第二种方案简单方便,较为符合第三方评价地方政府整体绩效的操作条件,并部分实现了公众主观评价与客观事实评价的主客观统一;而第一种方案,将公众满意度评价置于前述4个领域层的具体指标中,每一个具体指标均由公众再做主观评价,则满意度指标将会增加很多,调查问卷问题数量将非常大,实施操作也相当困难,同时,普通公众对每一个具体指标很难有独立的见解与判断,调查结果失真度增加。基于以上原因,可选择后面一种方案,将公众满意指标领域层与经济发展、社会公正、保护环境、政府成本平行作为第5个领域层。进言之,在经济发展领域层,可对该领域层中的内涵层,如增长速度、增长质量、经济结构、收入与生活质量、发展潜力、市场竞争环境等进行公众满意度评价;在社会公正领域层,可对基础教育、公共安全、公共卫生与健康、民主法制建设、社会道德建设、公共基础设施等内涵层进行满意度评价;在环境保护领域层,可由公众对大气、污水、废渣等内涵层进行满意度评价;在节约政府成本领域层,可对有形成本、无形成本、机会或失误成本、成本效益与控制、成本透明度等等内涵层进行满意度评价。不过,这种针对客观领域内涵层的主观评价范围过于宽泛,操作上存在问题,故应突出重点,有所选择。
(三)具体指标范畴
政府整体绩效应该是政府客观效果与公众主观感受的统一,相应地,政府整体绩效评价应该是主观指标与客观指标的统一。因此,政府整体绩效评价必须引入公众满意度的评价指标体系。从技术上说,客观指标需要主观指标予以印证,同时,囿于数据的缺失,某些客观指标需要主观指标予以补充。因而,主客观各层指标就具有了互证、互补的关系,这种关系构成了一个完整的整体绩效评价指标体系。如二级指标经济发展满意度对应的三级指标个人或家庭收入满意度相对于客观领域层的三级指标人均GDP即为互证关系,而就业机会满意度与客观领域层的三级指标就为互补的关系;再如政府本身满意度对应的客观领域层无法取得相应的指标,在主观领域层增加相应的指标与之形成互补关系,以弥补客观领域层无法取得或者操作不可行的指标不足的缺陷。其他指标亦是如此。具体指标包括:
1. 经济发展满意度评价指标
经济发展满意度包括个人或家庭收入满意度、工作机会满意度与总体满意度。个人或家庭收入满意度与政府的促进经济发展职能密切相关,只有经济的繁荣与发展,提供更多的发展机会,公众的个人或家庭收入才会增加。工作机会既与政府职能实现有关,又与个人的能力、整个社会经济环境相关,此项满意度可间接反映出经济的发展状况,进而反映政府的经济服务能力。政府要为公众创造更多的就业机会,加强就业培训与指导,这样才能够提升公众的工作机会满意度。总体满意度是指公民对政府在促进经济发展的效果的总体评价。其具体测度方法是由公众对当地政府在促进经济发展的效果进行评分。
2.社会公正满意度评价指标
社会公正满意度领域包括社会治安、医疗保障、执法公正、政策稳定性以及总体满意度。社会治安是社会公正的重要标志,维持社会秩序,促进社会治安的良性发展是的重要的职能。政府治安的工作可以通过公众的判断来评价。近年来医疗保障成为了我国公众普遍关注的焦点,医疗保障涉及到费用筹措、医疗服务提供、医疗药品供应等问题。提升公众的医疗保障水平是政府卫生部门的工作目标,因此,公众对医疗保障制度满意度指标应纳入整体绩效评价体系中。行政执法几乎涵盖了政府的所有部门。行政执法活动有两种,一是抽象行政行为,即立法建制;二是具体行政行为,即依法办事、依法管理行政事务。而与公众直接接触的行为为具体行政行为。衡量行政执法部门的工作绩效除用一些客观的指标外还需要主观指标进行补充。政府政策是稳定民心的基础。通过调查公众对政府政策稳定性的满意度可反映政府政策稳定状态。由于信息不对称等原因导致市场秩序需要政府来维持,市场监管满意度可作为政府维护社会公正的一项主观指标。总体满意度是公民对政府在维护社会公正方面所取得效果的总体评价。其具体测度方法是由公众对当地政府维护社会公正的效果进行评分。
3.环境保护满意度评价指标
环境保护满意度包括对生活自然环境的满意度、环保宣传及推动满意度和总体满意度。生活自然环境的好坏与政府的长期政策理念与政策执行相关。我国许多地方存在经济发展与环境保护背道而驰的状况,为避免政府为发展经济而忽略对环境的保护,需要将公众对自然环境的评价纳入政府整体绩效评价中,反映政府在环境保护方面的绩效。政府环保宣传到位与否直接体现了政府在环保方面的态度及成效,并可由公众做出评价。政府可以通过在电视上播放公益广告、贴环保宣传图片或画册、进行环保知识讲座等等活动来唤起公众对环境的保护意识。总体满意度是指公民对政府保护环境的效果的总体评价。其具体测度方法是由公众对当地政府推动环保的效果进行评分。
4.政府成本评价指标
地方政府成本可划分为有机成本和无形成本,多数不由政府自身控制,而是由上级政府控制,加之普通公众对该领域层了解不多,评价变得困难。但政府成本是衡量政府绩效的重要内容,领导层需设计一个对应的评价指标。
5.政府部门服务过程满意度评价指标
政府部门服务满意度领域层包括服务态度满意度、服务效率满意度、人员廉洁满意度、政务公开满意度。公众满意度导向的政府服务,不仅要人性化,对服务态度也有较高的要求。传统上政府部门给公众的印象是门难进、脸难看、事难办。通过调查公众对政府部门服务态度的满意度,了解公众心中的政府服务态度,可以为进一步改善政府服务态度提供依据。
提高政府部门的服务效率是政府改革的目的之一,政府服务效率低下、程序繁琐、办事拖拉、不履行承诺、相互推诿和掣肘等是近些年公众普遍反映的热点问题。政府人员廉洁是衡量政府服务的一项重要指标,群众对政府人员廉洁的监督是最直接有效的,通过调查公众对政府人员廉洁的满意度可以很好的反映政府人员廉洁现状。总体满意度是指公民对政府公务人员提供服务的过程的总体评价。其具体测度方法是由接受过政府服务的公众直接进行评分。
6.政府整体绩效总体满意度评价指标
政府整体绩效总体满意度是指公众对于当地政府在促进经济发展、维护社会公正、保护生态、节约政府成本、实现公众满意,以及对政府部门提供公共服务与进行社会管理的过程的效果、效率、公平性和回应性的总体评价。具体表现为公众对当地政府形象、政府行为的回应性、公共服务质量、公民抱怨程度(公民对政府的理想要求与现实评价的差距)。其具体测度方法是由公众直接进行评分。评分方法见表1。
(四)问卷结构
基于概念模型的推导与具体指标的设计以及问 卷的规范格式要求,公众满意度调查问卷的结构应该包括样本的基本情况、调查指标的具体问题和调查监督。调查样本的基本情况主要包括性别、年龄、职业、学历、收入等,调查的具体指标包括经济发展、社会公正、环境保护、公共服务过程与总体满意的具体问题。公众满意调查问卷主干问题的结构见表2。基于第三方评价的可操作性要求,通过表2的结构变量与观测变量的测度,不仅可以测量公众对具体指标的期望、感受与最低要求,而且可以测量公众对政府的印象评价与总体满意度水平,从而反映公众感知、期望、满意与抱怨,既对政府绩效评价的客观指标形成印证与补充,也为政府改善绩效提供诊断与方向。
(五)问卷的信度与效度检验
信度是指测量工具反映被测量对象特征的可靠程度或者一致性程度的指标。信度检验的常用方法有内部一致性信度、折半信度、重测信度和平行信
度等。本文以Alpha系数(内在信度)进行分析。Alpha系数的取值范围在0~1之间。通常情况下,信度系数在0.9以上,则认为量表的信度较高;并认为A值在0.6以上时,因此各项目具有可接受的一致性。利用SPSS统计软件,计算出问卷各维度的Alpha信度系数和问卷总体Alpha信度系数(见表3)。
表中结果显示,公众满意度调查问卷各维度的内部一致性信度系数均在0.6以上,说明各项目基 本上能够较好地反映其所在维度。问卷总体Alpha信度系数为0.833,说明问卷的整体结构设计具有较高的可信度。由此可以认为,依此调查得到的数据是可信的,基于该问卷进行的数据统计分析结果也是比较可靠的。
效度是指测量工具反映测量对象的本质属性的程度,即测量的有效程度。根据测评指标的共同度检验每一项指标对公众满意评价结果的影响程度。共同度越大,表示该测评指标对公因子的共同依赖程度越大,表明用这些因子来解释测评指标越有效。一般来说,当共同度大于0.4时,公因子就能很好地解释测评指标,共同度相对较小的根据经验可以剔除。根据预调查问卷,利用SPSS软件测出13个测评指标因子的共同度都大于0.4(见表4),说明问卷中测评指标对满意度的影响是显著的。
通过分析每一维度测评指标与公众满意度指标的相关性进行验证性分析。相关系数的绝对值越高越接近于1,表明各维度之间的相关程度越高,说明调查问卷的总体结构越合理有效。假设原有模型中的7个潜变量都相关,利用SPSS软件对预调查样本 数据进行相关性检验(见表5)。结果显示,各潜变量之间的相关系数都大于0.4,说明问卷对样本数据的拟合效果基本符合要求,该问卷的结构设计比较合理。根据上述分析的结果可以判断,这份问卷的设计是可信的、合理的。
三、问卷的优化
所谓问卷优化,指在各种现实条件下对理论问卷的问题及备选答题进行优化选择,提出执行问卷的过程。本文概念模型推导下的问卷共有48个问题,完整的反映了地方政府整体绩效满意度的各个方面。具体来说,问卷从政府整体绩效的公众满意度模型结构出发,覆盖了政府形象、公众期望、公众感知质量、公众满意度和公众抱怨(如政府在某项因素的绩效达不到公众对于该项因素的最低满意度水平,则会产生抱怨情绪),从结构上看是完整的。
一是提高可操作性。主要体现为精简问卷问题的数量。经验而言,问卷的容量10钟以内可以完成,则比较容易被调查者接受,否则会引起被调查者的厌烦情绪和畏难情绪,影响调查质量。精炼的问卷内容,需要删除那些可有可无的问题,保留必不可少的内容。筛选标准需要从调查目的出发来思考:调查需要明确哪些问题,这些问题之间的重要程度如何?相互关系如何?以及得到什么样的数据形式便于分析结果等。
从政府整体绩效评价的公众满意度调查作用和需要出发,可以舍去政府形象、公众预期、总体感知质量、预期与实际感受的差距,主要是考虑了问卷容量的问题。由于问卷设计的原则之一就是要尽可能的用少量的问题问出多的内容,而我们调查公众满意度的目的在于在整个绩效评价的框架下了解公众对政府整体绩效的一个评价,而对于如何改善政府服务却是整个绩效评价的工作,可以通过计算整体绩效的五个领域层(即促进经济发展、维护社会公正、保护生态环境、节约政府成本、实现公众满意)的结果来具体提出改善意见,因此这些内容可以省略。
二是优化主干问题。基本原则是:指标及问题尽可能覆盖满意度导向层;力求将满意度指标与客观指标相衔接;调查问卷完成时间控制在10分钟以内,等等。为此,问卷可以简化为只考虑对10-15项指标的感知质量由公众评价,如以赛立信市场研究集团为实习基地的华南理工大学课题组所设计在广东公众满意度调查问卷2007年的方案中,初步问卷设计19个正式问题,通过相关性、相对应性和重要性分析,并考虑到必要性和可操作性,最后确定10个具体指标,在此基础上,考虑到问卷反映问题的全面性,2008年调查内容增加政府公开、环保宣传、市场监管等三项内容。这样处理使满意度调查内容基本上可与其他源自统计年报的客观类指标相呼应,并具有较好的互补功能。具体而言,涉及到政府成本和生态环境领域层,公众的主观评价受制多种因素,满意评价具有局限性,而经济发展及社会公正领域层,公众评价更具说服力。同时,某些客观指标系统取得存在困难,由公众从满意度角度作出评价更具可操作性。上述思路实际上是在考虑到与其他客观领域层及具体指标的互补与衔接的前提下,将规范模型做直观化和简单化处理。
三是问卷量表的简化。理论上满意度评价量化可任意分级,如10分制,100分制。实际运用常采用奇数值,如3分制,5分制,7分制,9分制。考虑国内公众的习惯,我们一般采用10级量表,5分为中位数。
四、小结与讨论
数字和量化标准通常被作为评估的基础。然而,并不是所有的公共服务和公共项目都是能简单量化的。从技术的角度,在一个成熟的选举市 场中,公民对政府的投票(公众满意度)某种程度上
等同于政府整体绩效评价。我国与西方不同社会制度构成政府整体绩效概念内涵的社会背景,亦为公众满意度调查设定了条件。
从独立第三方评价我国地方政府整体绩效的视野,围绕公众满意度调查体系,在对概念方法、思路模型、问卷内容做出阐述与推导之后,得到的技术性结论是:对ACSI模型简化设置,与客观指标体系相衔接,由10-20个主干问题组成的满意度测评问卷,面向16~70岁常人口,通过定点拦截和电话访问相结合的方式所取得的公众满意度调查体系,具有良好的科学性与适用性。当然,这一结论预设了一些关键性的前提条件,尤其是置于现实背景下将面对一系列延伸问题,如调查周期、公众能力与态度、政府配合等。作为实证性极强的工作,公众满意度调查体系的构建与完善,既取决于理论上的创新,更依赖于实践的探索与推动。具体而言,本文提供了一种实证研究范式,并可概括以下结论:首先,在第三方评价我国地方政府整体绩效体系中,衡量政府的服务价值在于公民的最好的方法就是由公众来对政府绩效进行打分。同时,作为技术方法,满意度调查可以弥补客观数据的失真或缺失不足,实现整体绩效评价的可操作性。其次,自顾客满意度(ACSI)y公共部门满意度y整体绩效公众满意度的逻辑思路,从而较为清晰的界定了三者之间的联系及其区别,提出简化的具有可操性的概念模型。在调查内容上,从技术角度,满意度调查即是满意度指标的开发,实现评价理念向评价操作的转变。最后,在理想化的满意度模型中,调查内容结构包括政府形象、公众预期、公众感知质量、公众满意度、公众抱怨,完整的问卷结构应将政府形象、公众期望、公众感知质量、公众满意度、公众抱怨五个因素置于其中,涉及48个问题。但此种设计既不必要,亦很难操作。考虑到问卷内容过多,且不容易取得受访者的配合,更需相应投入巨额资源,而现实条件不具备的情况下,因此只选择了其中的公众感知质量因素,但这种处理是否最优?在条件成熟以后,是否增加公众预期和公众抱怨等内容使问卷标准化?等等。
想获取更多信息，或者咨询相关业务可以关注我们的微信公众平台：SMR_gz
或者扫描下面二维码
