社会调查回报率分析及思索

前言：本站为你精心整理了社会调查回报率分析及思索范文，希望能为你的创作提供参考价值，我们的客服老师可以帮助你提供个性化的参考范文，欢迎咨询。

本文作者：吴炜作者单位：南京大学

CGSS与GSS的一个比较

风文笑天（2007）对发表在《社会学研究》上的2004年第2期至2006年第3期所有论文中利用抽样调查数据撰写的全部研究中的论文中的回收率进行了统计，发现在27篇论文中，有8篇没有报告调查回收率，甚至有4篇没有办法通过其他方式计算其回收率。在通过各种方式能够得到调查回收率的23篇论文中（涉及16项调查），有17篇（属于11项调查）回收率超过了90%。特别是其中两项全国范围的大规模调查（样本量在6000份左右）的回收率更是达到了99.2%和99.9%。这两个调查分别为“中国社会结构变迁调查”和“2003年度中国综合社会调查（简称CGSS）”，笔者选择对CGSS2003做一分析，原因有三个：一是CGSS的影响范围较大，是国内目前比较正规、调查质量比较好的一项全国范围的调查项目；二是CGSS2003的调查回收率比中国社会结构变迁调查还高，达到惊人的99.9%；三是与笔者的经历有关，如此高的回收率与笔者所了解的CGSS调查情况完全不符，笔者曾经接触过CGSS的调查员与督导员，他们给笔者的反馈是调查进行得并不十分顺利，经常会被拒访，这么高的回收率与事实是不符的。笔者认为，比较分析作为一种思维方式和分析方法，能够更深刻的认识调查回收率。因此，本文将美国综合社会调查回收率与中国综合社会调查回收率做一对比分析，以便更好的展现国内调查回收率的现状。美国的全国综合调查（简称GSS）是一项从1973年开始实行的、面向全美国的、连续的大型社会调查计划。在这个调查的支持下，美国芝加哥大学以此为基础建立了一个规模庞大的、开放性的抽样调查数据库，免费为全世界的社会科学研究者使用，为推动社会科学和社会政策研究的发展发挥了重要作用。2003年之前，大型的、连续开展多年的、开放的全国性数据库在我国社会科学研究领域还是一个空白。这一年，参照美国GSS，由中国人民大学社会学系和香港科技大学调查研究中心共同推进中国大陆的综合社会调查（简称CGSS）项目启动，从2003年开始至2008年度的调查是这一项目的第一期（每年一次，其中2007年暂停了一年），目前在中国综合社会调查项目的官方网站上已经公开了2003~2006年的4次调查数据。在官方网站中，笔者并未看到调查回收率的状况，甚至连样本规模也未作说明，能看到的只是其列出的完成有效样本规模。为了计算其调查回收率，笔者查阅了其中国综合社会调查项目组编写的《中国综合社会调查报告（2003~2008）》，在书中对样本规模进行了说明，所计算得到的调查回收率具体情况见表1。由表1可知，美国综合社会调查的历年计划调查样本规模、完成的有效样本规模和回收率都被明确的给出或者可以经过计算得出，都稳定在70~80%之间。而中国综合社会调查通过计算得出以上的回收率结果，读者稍微看一眼，就肯定会问，为什么CGSS的调查回收率如此奇怪？其回收率接近等于甚至都超过了100%。这也是本文所要分析的第三个问题。

为何CGSS调查回收率如此奇怪

根据调查回收率的定义和计算公式，可知其涉及的是样本规模和实际完成的有效样本量。除非普查或者所有被调查者的特征都一样，否则所有旨在根据样本特征来推论总体特征的抽样调查，都面临一个如何确定样本规模的问题。因为，在一项抽样调查研究中，按照一般程序，在研究设计阶段，研究者在界定了总体之后会制定一个抽样框，按照一定的规则从这一抽样框中抽取样本。在实际抽取样本之前，需要确定样本规模。一般来说，样本规模的大小与总体规模、估计的把握性与精确性要求、总体的异质性程度以及研究者所拥有的经费、人力和时间有关(风笑天，2009)，样本规模往往是研究者综合考虑有关影响因素之后进行主观判断的一个结果。以CGSS为例，其计划调查的总体样本规模的大小的确定考虑了很多因素才最终确定的。在中国人民大学中国调查与数据中心中国综合社会调查项目编组编写的《中国综合社会调查报告（2003~2008）》中明确写到：“综合考虑精确度、费用以及调查实施的可行性等因素，以及以往若干全国社会调查的经验，再加上考虑到调查实施中通常会存在一部分户内找不到、或没有合格调查对象以及各种原因造成的无回答等情况，根据对回答率的估计，以及总体划分为五个抽样框，我们把样本量确定为10000。这10000个样本不仅能满足对总体的估计，而且也能满足抽样框各自总体的估计，所以是比较合适的样本量”（李路路等，2009）。笔者认为，CGSS在研究设计时确定的计划调查样本规模是十分明确的，即10000个，那么根据调查回收率的计算公式，作为分母的计划调查样本量为10000个，如果问题并非出在抽样设计中的样本规模这一分母上，那么就只能出在作为分子的完成的有效样本规模上。完成的有效样本规模表明的是调查的具体开展过程中的完成了多少个有效的样本量，这涉及到了调查的具体实施过程。根据CGSS历年调查结果（见表1），可以发现实际完成的有效样本规模居然和计划完成的样本规模几乎一致、或甚至比计划完成的样本规模还要多。因而，对第三个问题的回答引出了笔者所要分析的第四个问题：在实际实地执行过程中发生了什么，从而导致实际完成的有效样本规模出现这样的情形。

实地执行过程中发生了什么

CGSS依据其抽样方案（具体抽样方案见其官方网站或《中国综合社会调查报告（2003~208）》一书）可以确定到居委会或村委会，在抽中的居委会/村委会中如何抽取居民户和抽中的居民户中如何抽取被调查者，则是实地执行的内容。那么在这个实地执行过程中发生了什么呢？仔细分析实地执行过程的程序，可以发现问题出现在居民户抽样的过程中，如在城市居民户抽样中：“随机选取起点之后（可以是翻一本书看页数或看一下表等方式），按右手原则，隔六抽一（如果起点是第三户，中间净隔六户，即第二户应抽取第十户），同时标注其+1（下一户）及-1（上一户）户地址，并多抽3倍的备用地址”（李路路等，2009）。不难看出，问题就出在最后一段话上面——并多抽3倍的备用地址。那么这些备用地址来干什么的？再看下面一段话：“如果所抽取的地址不够使用，则由抽样员在此居委会继续抽取，如果该居委会地址全部抽完，访问中仍然不够用，则继续按右手原则在相邻居/村委会进行抽取”（李路路等，2009）。这多抽的3倍备用地址是用来干什么的？答案已经很明显了。由于现实被调查者和调查者的各种特殊情况，总会导致样本中的某些个体无法成功访问，或者说总有一部分样本会访问失败，那么多抽的这3倍的备用地址的居民户就是用来作为替补那么访问失败的样本的，甚至于在多抽的3倍备用地址仍不够用时，还需继续在相邻的居委会/村委会抽取备用地址以弥补访问失败的样本。为了更好的理解这种备用地址导致所发生的变化，笔者举一个例子：一项调查计划从总体抽取400个调查对象作为样本，研究者采用结构式访问的方式收集资料，实地执行中访问了400人，实际成功访问240人，那么该项调查回收率为60%。而遵循CGSS的方式，则以上调查则变成为：一项调查计划从总体中抽取400个调查对象作为样本，研究者采用结构式访问的方式收集资料，实地执行中第一步抽取400人作为调查对象，笔者称之为样本1；第二步抽取另外1200人作为替补调查对象，笔者称之为样本2；第三步对第一步所抽取的400个样本进行访问，如果全部成功则到此结束；如果未能成功，如成功访问了240人，则缺少的160人，则从第二步选择的1200人即样本2中选择替代者进行访问，直到访问成功160人，调查结束。如果这样本2中的1200人种未能成功访问160人，则还需要在其它地域如相邻的居委会抽取人员作为调查对象进行访问，这部分被抽取的调查对象笔者称之为样本3，直到160人满为止，调查结束。该项的回收率理论上按照调查回收率的公式计算为100%。任何一个读者看到这里对100%回收率都会存在疑问，即是不是公式本身有问题？笔者认为，问题不是出现在公式上，而是由于实地执行过程中的操作导致按照这一个公式进行计算得到的回收率变得毫无意义。根据CGSS的调查方式，原本作为计划调查样本的规模变成了实际调查过的完成的有效样本规模，即在计算公式中本应作为分母的样本规模变成了作为分子的完成的有效样本规模，那么分母在哪里呢？笔者认为，实地执行过程中所调查的所有样本，不论是访问成功还是访问失败，构成实际调查回收率的分母即实际发生的访谈数量，那么这个分母的数字是究竟为多少呢？从调查的实际过程来看，样本1肯定是包含在分母中的，样本2和样本3也或多或少的包含在分母之中。用公式表示为：实际调查回收率=计划完成的样本量（/计划完成的样本量+备用样本的使用量）=样本1（/样本1+样本2（部分或全部）+样本3（0或部分或全部））从以上公式中可见，分母数字究竟多大，已经很难确定，因为在实地调查的执行中一旦完成了样本1规模的数量，调查就已经结束，此时，已经调查了的样本2和样本3中调查对象属于分母，尚未调查的样本2和样本3中的调查对象不属于分母。在CGSS调查中，实地执行过程是由具体调查单位执行的，他们对访问过程的记录是不全面和不详细的，甚至可以说是有问题的，使得这些调查人员究竟调查了多少个样本2和样本3，CGSS项目组是无从得知或者很难统计的。一方面，实际调查回收率的分母的确切数字无法得知，导致实际的调查回收率已经成谜；另一方面，CGSS按照回收率的定义进行计算，其调查回收率就变的如此奇怪，甚至调查回收率超过100%。基于以上分析，笔者认为，CGSS在实地执行过程中发生了一些重大改变，样本规模被替换了，即实地调查的样本规模并非计划调查的样本规模，而是实际发生的访谈数量。实地执行中的样本规模除了包含研究设计中计划调查的样本量之外，还包含了计划外的替代样本，这种将样本规模引入实地调查过程的做法，导致的结果是其调查回收率已经不可知了。笔者认为，样本规模与调查中的无应答数量是相关的，然而，无应答数量对于样本规模的影响是发生在研究设计阶段时确定样本规模中的，无应答个案的存在导致样本规模会大于研究需要的被调查者数量。

目前国内社会学界社会调查的实地执行状况及思考

抽样调查是通过样本来推论总体，样本的质量直接决定了总体推论的可信度，因此，抽样调查中必须以规范调查和提高总体推论可信度为目标。从前一部分的分析中，可知，在目前中国的CGSS实地调查中，发生了一种样本替换的过程，导致按照调查回收率的公式计算得到的回收率数据虚高。在前文所提到的另外一个回收率超过99%的调查为陆学艺主持的“中国社会结构变迁调查”，通过仔细查阅相关资料，在其以此调查为基础出版的《当代中国社会流动》一书中，在介绍研究方法时写到“调查员持抽样名单、选样表和问卷进入被调查户选择被访人；如果选样顺利则继续进行访问，如果选样失败，则需要告知督导员，由后者根据备访户名单进行更换，再度入户选样”（陆学艺，2004）。也即在这个调查中同样发生了类似CGSS调查的情况。这种情况的发生是造成其回收率畸高的原因。以上两个发生了样本替换导致调查回收率虚高的全国性的调查中，都是由较为有名的调研机构和和社会科学研究者所主持的，促使笔者不得不思考是否国内的调查研究在实地执行中是否普遍发生了这种情况。如果这种情况较为普遍，那么有学者指出的国内调查回收率较高的现状（风笑天，2007）就能够得到一个较好的解释。笔者至今参与的大大小小近10项社会调查项目，均为发生样本替换导致回收率虚高甚至回收率不可计算。例如边燕杰所主持的“社会资本与职业经历”大型问卷调查，笔者作为调查员参与了这一项目的济南部分，其抽样方式和CGSS完全一样，实地执行中也发生了样本替换现象，但是在替换样本的选择方法上和CGSS有较大差别，CGSS使用的是随机方法。而这次调查为非随机方法，具体为其替换样本为是抽中的户的上一户和下一户（如果访问失败，先访问上一户，如果继续失败则访问下一户，如果仍然失败，访问所抽中户的上上一户，以此类推）。从笔者的调查对象来看，第一批入户名单中访问成功率没有达到50%，在超过一半的不成功的案例中，拒访占了绝大部分。在调查完成之后，项目组只是在成功完成的访问问卷中剔除了一些无效的问卷，得出完成的有效样本规模，并最终未计算调查回收率。在国内目前所开展的社会学调查研究中，样本替换现象较为常见。有相当多的调查对无应答单位进行了替换处理。样本替换也是社会调查中经常使用的一种方法，使用得当会在很大程度上提高调查的质量。这里并不想专门讨论样本替换问题，笔者想强调的是，这些对无应答单位进行替换处理的调查中，有一些甚至是大部分并未全面保存有关初始应答单位的替换记录（郝大海，2008），甚至完全没有这方面的记录。在这些调查之中，真实的调查回收率已经被隐藏起来了，而根据回收率定义所得到的理论上的回收率却是虚高的，是不真实的。回收率作为样本代表性的一个重要指标，缺失或者不真实的状况将严重动摇其研究结论的可靠性。为了保证推论的有效，部分调查研究的调查回收率往往是一个理论上的虚假回收率，并非其实际的回收率，甚至有些调查的回收率可能仅仅是完成的有效样本规模与完成的样本规模之比（百分比的形式）。调查研究作为社会学研究中最重要的一种“科学”方法，必须遵循一套严格的程序，确保资料的信度和效度。但是实地执行过程中的对样本替换的不规范操作，使这一科学”方法偏离了轨道，无法得出能代表其样本质量的调查回收率，甚至产生一个虚假的调查回收率。对此，风笑天（2007）认为对于调查中的无回答现象，比较合适的做法是先按照正规的抽样设计，将可能的无回答比例考虑进去，计算出相对较大的样本容量。这样能方便计算调查回答率。如果要采用样本替换，则需要研究者实地执行过程中，严格遵循研究设计，同时要考虑样本替换对整个调查的影响。在整个调查过程中要全面保存替换记录，并在调查结果中如实地呈现给读者。国内一些调查正是由于没有能够保存这些数据，而在回收率上出现了问题。在今后的社会调查中，应该制定出保存调查执行数据的办法，严格执行，以确保调查的信度和质量。