焦海洋/绘

    编者按：5月13日，21世纪教育研究院发布《中国教育发展报告（2014）》，给出的调查数据表明，2013年公众对目前所在地区的教育总体状况满意度评价低于“一般”，58.28的分值(百分制)没有达到60分的及格线；三成公众对所在地区教育总体状况持有不同程度的负面评价。该如何看待这个结果？教育满意度调查如何让人信服？本期评论版特刊登几位专家的评论文章，以飨读者。

    方法论不过关，结论就“免谈”

    要想获得科学合理从而让人信服的结果，必须保证抽样的随机性，找错了对象，不但不可能准确反映社会原貌，更会发生“牛头不对马嘴”的“贻笑大方”。

    ■顾骏

    在当下中国，民众对生活各方面内容有不满很常见，如果统计一下对食品安全、交通以及其他公共服务的满意度，恐怕也不会太高。在一个保持多年高速发展的国度，民众的期望大大超过实际生活的改善程度，这是正常现象。

    值得考虑的倒是，近年来不少机构或个人屡屡用统计分析的方式，向社会发布自己的调查结果，但用的方法却没有严格论证。其实，统计分析是一门利用数学方法，借助概率论、抽样、问题设计等技术手段，找出个体间有意义的差异，最后反映超越个体特性的整体状况。由于得到了现代数学的坚实支持，仅仅调查一部分人就可以得出比调查所有人都准确的统计结论，不但成本大幅降低，还可以确保结果的误差不超过预期水平，所以，抽样调查得到了普遍运用。

    不过，要想获得科学合理从而让人信服的结果，必须保证抽样的随机性，找错了对象，不但不可能准确反映社会原貌，更会发生“牛头不对马嘴”的“贻笑大方”。这份蓝皮书中是否也有可能存在类似问题？

    据报道，蓝皮书所披露的数据来自于2013年11月21日至12月18日，21世纪教育研究院联手相关机构开展的“2013年公众教育满意度调查活动”，共有来自全国各地的50801位网友参与了问卷调查。公众教育满意度的各项指标得分介于35.54分到59.66分之间，无一项指标获得公众“比较满意”的肯定。分项指标包括教师队伍素质、教育总体状况、义务教育阶段农民工子女获得均等入学机会的情况、政府治理教育乱收费的成效等内容。

    从这些分项指标来看，调查确实针对的是当下民众最为关心的方面，虽然有所遗漏，但基本能够反映被调查者的关心所在。问题出在虽然调查了5万多人，但既没有说明为什么调查的是5万多人，而不是更多或更少，因为在抽样调查中，调查样本大小的确定有着严格的方法要求，项目越多，对象间差异越大，样本规模也相应需要放大。这项调查在样本规模的确定上不知道有过什么考虑，如果仅仅取决于网友的热情，多了就多调查几个，少了就少几个，那就不够严谨了。

    更成问题的是，众所周知，网络上热心于参与各种调查的人士属于一个特定群体，在年龄、教育年限、职业、收入、消费习惯乃至性格上都有突出的特点，只是全体国民这个整体中一个特别的部分，如果拿着单纯由这个群体提供的资料，去推断全体国民的意见，那绝对会闹大笑话：我们能从网络调查中得出国民收入吗？国家10年一次人口普查能随便找家商业门户网站，从不知背景、随意上网且随其高兴决定回答或不回答的网友的无法查实的回答中，得出“中国人口”的各项数据吗？如果国家采取如此做法，那才真会引发“公众满意度大幅下降”，引发在世界各国面前“中国国家形象大幅下降”，因为谁都不会相信一个国家竟然拿基础数据如此开玩笑，毫无技术含量。

    回到蓝皮书的报告，稍微懂点调查方法的人都不难发现，除了统计技术的致命伤之外，在调查的内容和对象的相适度上，同样存在明显的错误。相比整体人口，网络活跃人群普遍趋于年轻，思维活跃，学历偏高。因此对不同分项指标的敏感度也具有同全体人口很不一样的地方。比如，网友相对年轻，许多人还没有孩子，甚至都没结婚，他们对义务教育的满意与否，更多地是基于自身的记忆，而不是对现状的了解，充其量只是某种道听途说。虽然也能反映存在的一些问题，但同报告所针对的“2013年”这一特定时间段，真的没有多大关系。完全从改进义务教育的角度说，听他们的意见还不如听年龄远比他们大的退休老人来得靠谱，后者中至少有不少人需要每天送孩子上学，对教育有着更为切实的了解和体验。

    对习惯于“毛估估”的中国人而言，开始采用数据来说明问题，绝对是全社会的进步，但定量分析是非常严肃的一项科学活动，没有方法论的保证，随便收集的数据在统计学界会被视为“垃圾”，而且业内有一个得到高度共识的定律，叫“垃圾进来，垃圾出去”。所以，在学术论坛上，专家们对研究方法论的关注远远超过对调查结论的关注，方法论不能过关，结论就属于“免谈”了。对此，任何一项严肃的调查都不会不仔细遵守，因为这是学术共同体的基础性规则。（作者系上海大学社会学教授）

    如何正确看待满意度测评

    ■常生龙

    13日公布的2014年《教育蓝皮书》，有关公众对教育满意度的调查引起热议。公众教育满意度仅得58.28分，三成持负面评价，这样的结果确实无论如何都让人高兴不起来。对此，应该有理性的思考。

    首先，用近一个月的时间，在网上征询50801位网民对教育满意度的感受，样本本身和采样的方式都值得商榷。五万多名网民组成的样本，虽然数量不少，但不是有计划有针对性的抽样，得出的结论很难推演到整体；在一段较长时间里的进行问卷的收集，同一个网民可以多次参加测评，不可控的因素也很多。

    其次，要正确理解满意度。满意是一种心理状态，是家长对教育的事前期望与孩子接受教育之后的实际感受之间的相对关系。教育质量好，老百姓不一定能感受到它好，就像上海的PISA测试全球第一，不少老百姓依然不满意一样。个人的背景、偏好、对优质教育的期望等直接影响着满意度。

    再其次，得出的结论值得商榷。比如说，在几个重要指标中，教育收费指标的满意度最高。这或许与参与调查者都是网民，有相当的经济实力有关；比如说网民对教育过程的满意度指标高于教育质量，也很让人费解。教育质量的高低，就与是否能把握好教育过程有直接的关系。

    我们没有必要过于看重这个满意度调查的结果。倒是可以由此进一步反思我们的教育，探索深化教育综合改革的新路。（作者系上海市虹口区教育局局长）

    教育满意度调查样本选取要科学

    ■陆岳新

    从2010年开始，江苏省教育厅委托第三方机构独立运作、精心设计调查方案，对接受当年教育现代化建设水平评估的县（市、区）进行了社会满意度全面调查，积累了一些经验，总结出来与大家共享。

    社会满意度调查是一项科学、严谨的工作。首先每个县（市、区）均要在电信用户库中随机抽取一定数量的访问样本，样本包括家庭和企事业单位，区域涵盖城镇和农村。整个调查应完全由专业部门在规定的时段混排进行，才能使调查数据翔实，分析科学准确，结果客观公正，具有很强的说服力。

    其次调查对象和样本的选取既要科学又要有利于分析比对。在年龄上，调查对象一般要在15岁至65岁之间并在当地居住满1年的公民及初中生，这类群体相对了解教育，样本采信度高；在城乡分布上，调查对象的城镇和农村间的调查样本比例为4:6左右。

    根据区域人口的多少，也应对受访样本量进行科学的选定，我们一般采取配额控制加随机抽样的方法进行，其中人口数在80万以上的县（区）样本是各400份，人口数在80万以下的县（区）样本是各300份，调查样本共11000份。满足了这些基本条件，调查数据中社会关于对学校优质均衡状态的满意率等研判依据就会更为客观可信。

    最后在调查结果中，满意度判断均设“满意”、“比较满意”、“基本满意”、“不满意”、“不了解”5个选项，单纯设定“满意”或“不满意”，特别是不设定“不了解”这一选项，会使调查结果过于简单化，不能客观地反映受访群众对教育的真实态度。（作者系江苏省教育评估院院长）

    教育满意度调查需澄清三个问题

    ■文新华

    如何看待21世纪教育研究院在其发布的《中国教育发展报告（2014）》中所得出的公众教育满意度低的判断？我认为对此至少需要澄请以下三个问题：

    其一，提问的设计不同，结果会不同。从理论与技术的角度看，笼统的提问与具体的提问，负面的提问与正面的提问，诱导性提问与客观性提问，结果都会不同。以上述报告中的“公办小学和初中办学水平差距”为例，如果提问是：“您所知道的农村学校以及城镇条件较差学校的办学条件得到改善了吗？”或“您对您所知道的各级政府努力改善农村学校以及城镇条件较差学校办学条件的成效是否满意？”，调查结果也许就会不同。

    其二，与提问有关的信息获得不同，结果会不同。在提问设计或应答者对象选择的技术上，必须充分确定应答者对被提问题有充分的信息，这样才能保证调查信息的真实性。信息是否获得，信息获得是否全面、及时，都会导致调查结果的不同。以上述报告中的“教育总体状况”为例，如果应答者不甚关注教育，那么要求他们准确地回答就有困难。