2005年8月,美国社会学协会(ASA)第100届年会在费城召开。在分组会议上,一篇由笔者与合作研究者(美国教授及其博士生)合写的论文进行了宣读。论文报告完后,在场的一位美国学者提出了一个这样的问题:“你们的研究报告指出,调查的回收率为96%,请问,回收率怎么会有这么高!”
这一提问让笔者感到十分意外。国内学者——包括笔者——以往所进行的一些调查,回收率达到90%以上可以说是相当常见的现象(实际的统计结果证实了笔者的印象,具体情况可参见本文第三部分的内容)。更为重要的是,在笔者(以及国内许多同行)看来,调查回收率的高低,是衡量一项调查质量高低的主要标准。而在实际从事社会调查的过程中,努力追求高回收率也早已成为许多国内同行的共识和行动。难道高回收率有什么不好吗难道我们不应该追求高回收率吗高回收率有什么不正常吗正是这种意外的感觉以及由此所带来的一系列疑问,促使笔者对调查中的回收率问题进行了重新思考,并对调查回收率或高或低的现象背后所具有的深刻含义进行了分析。本文的目的就是围绕这一看似简单、实际上却关系重大的方法论问题谈谈笔者新的认识,以就教于学界同行。
二、调查回收率及其意义
社会调查中的回收率(responserates,也称作回答率或应答率)指的是“调查者实际调查的样本数与计划调查的样本数之比”(风笑天,1987),也就是社会调查过程中研究者成功完成调查询问的个案数占计划完成的样本总个案数的百分比。它通常包括自填式问卷调查中的问卷回收率和结构式访问调查中的访问回答率。回收率的计算方法是:
回收率
=
实际完成询问的个案数
×100%
计划完成的样本总个案数
比如,一项调查从总体中抽取了400名调查对象作为样本,研究者采用自填问卷的方法收集资料,发出问卷400份,实际收回问卷380份。那么,根据上述公式计算,该项调查的回收率为:
(380/400)×100%=95%
同样,如果研究者采用的是结构式访问的方法来收集资料,而在实际访问400名调查对象的过程中,有10位调查对象由于地址错误、外出打工、生病住院等客观原因而无法接触到,还有10位调查对象拒绝接受访问。结果,实际完成访问的对象为380人,回收率亦是95%。
实际调查中,由于收回的问卷里还可能会有一部分不合格的问卷,所以,真正严格意义上的调查回收率(也称为有效回收率)指的是通过对问卷的审核,剔除那些填答不全或明显乱填的废卷后所剩下的问卷数(即有效问卷数)占样本总个案数的百分比,即:
实际完成询问的有效个案数
比如,通过审核发现上述调查中所收回的380份问卷里,有20份不合格的废卷,将这些废卷剔除,该项调查的有效回收率就只有:
[(380—20)/400]×100%=(360/400)×100%=90%
由于最终进入数据分析的问卷数目是有效问卷数,因而,一般情况下研究者在研究报告中向读者报告的应该是有效问卷数和有效回收率。如无特别说明,本文中的调查回收率也指的是调查的有效回收率。
那么,可接受的回收率,以及很好的回收率的标准是什么呢对此学界目前还没有统一的认识。纳克米亚斯等人指出:“要确定一种可接受的回答率标准并不是一件容易的事情,因为科学家在最低回答率的标准上意见不一致”(Nachmias&Nachmias,2000:213)。美国社会学者巴比提出过一个简单的等级规则:“要进行分析和报告撰写,问卷回收率至少要有50%才是足够的,要至少达到60%的回收率才算是好的;而达到70%就非常好。”但他同时也明确指出:“要记住,以上数据都只是概略指标,并没有统计上的基础”(巴比,2000:331)。
尽管没有统一的衡量标准,但笔者认为,一般情况下,如果无回答的比例超过样本总量的1/3,即回收率低于样本总量的2/3时,调查结果就有可能出现大的偏差。因此,当一项调查的回收率低于这一比例时,研究者有责任对未回收的调查对象所具有的基本特征及其所带来的误差进行分析和说明。因为这种误差在相当大的程度上将决定和影响调查研究结果的推广范围以及推广中的偏差范围。
由于回收率所代表的样本才是真正的样本,或者说,才是得出调查结果时实际用到的样本,因此,即使在抽样样本具有很好代表性的情况下,调查回收率的高低仍然可以影响到调查结果的代表性程度。正是这种由回收率所代表的调查样本的大小,成为衡量一项调查的结果所具有的代表性的最终指标。也正是在这种意义上,我们说,调查的回收率越高越好。
三、目前国内社会学界调查回收率的状况
表12004—2006年《社会学研究》刊发的抽样调查报告的回收率统计
序号
年份及期号
样本规模
(有效份数)
有效回收率
(%)
抽样方式
(未标出者为随机抽样)
1
2004年第2期
383
93.4
配额抽样(非随机)
2
338
84.5
判断抽样(非随机)
3
2004年第4期
6193
99.2*
4
280
无说明***
偶遇抽样(非随机)
5
2004年第5期
526/420/422
判断、偶遇抽样(非随机)
6
7
2004年第6期
1004
59.9
8
496
99.2
9
812
90.0
10
1039
94.5
11
3824
76.3
12
2005年第1期
303
89.1
13
2005年第2期
14
976
91.2
15
2005年第3期
5894
99.9
16
3293
82.3**
17
2005年第4期
18
3183
84.2
19
2005年第5期
20
2005年第6期
203
21
2006年第1期
3365
无抽样说明
22
2006年第2期
913
91.3
23
24
561
93.5
25
2006年第3期
26
973
97.3
27
***原文未给出计划样本数,无法计算回收率。
上述统计说明,目前国内社会学界所进行的调查研究,绝大部分(70%左右)的回收率都在90%以上。如果那位提问的美国学者了解到这样一种十分普遍的高回收率状况,或许会更加大惑不解。然而,值得我们思考的问题是:他为什么会对这种较高的回收率感到不可思议特别是为什么会以一种对高回收率表示怀疑和将高回收率看作缺点的方式来提问
四、GSS:调查回收率的一个参照
表2不同年份GSS的样本规模和回收率
年份
计划调查样本*
(份)
回收的有效样本规模
1972
1613
N/A
1973
1504
1974
1484
1975
1960
1490
76
1976
1999
1499
75
1977
1987
1530
77
1978
2070
1532
74
1980
1932
1468
1982
2385
1860
78
1983
2024
1599
79
1984
1865
1473
1985
1942
1534
1986
1934
1470
2425
1819
1988
1923
1481
1989
1971
1537
1990
1854
1372
1991
1945
1517
1993
1959
1606
82
1994
3836
2992
1996
3821
2904
1998
3726
2832
2000
4024
2817
70
2002
3950
2765
合计
43698
注:此表参见Dorsten,LindaEberst&LawrenceHotchkiss,2005:350。
说明:*最初几年无回收率统计;表中计划调查样本规模系笔者根据表中有效样本规模和回收率数据计算得到。
五、高回收率何以可能或不可能
为了更好地提出这一问题,我们可以先看看国内调查与美国GSS调查之间的差异。在前面表1所列出的国内各项调查中,有两项以全国范围居民为总体的抽样调查与美国GSS调查的背景十分相似(其中一项是2001年对全国12个省及直辖市、总共73个区县的6193位城乡居民的抽样调查,另一项是2003年对全国28个省、直辖市、自治区、总共92个区县的5894位城镇居民的抽样调查)。同时,这两项调查恰恰又是目前国内大规模抽样调查中回收率最高的两项,其回收率分别为99.2%和99.9%。
另外,表1的统计结果也从另一个侧面反映出随机抽样方式的这种影响。在表1统计的总共20项调查研究中,明确为非随机抽样方式的高达9项,加上一项抽样方式不明的,共有一半的调查没能实现随机抽样。这种结果的出现显然不是研究者不知道或者不愿意采取随机抽样的方法所导致。其中的原因,除了一些客观上的困难外,保证调查的可行性和获得较高的回答率(即避免过低的回收率)恐怕也是一个重要的考虑因素。总之,抽样方式的随机性、抽样调查实施中的严格性与调查的高回收率之间存在着一定的矛盾。实际从事调查研究的学者往往会有这样的切身体会:我们在抽样方法的随机性或者在具体实施的严格性方面稍微做出一点点“退让”,往往就会为调查的“顺利”实施和完成带来极大的现实性和可行性。
概括地说,在由调查的总工作量、调查员的努力程度以及对调查资料的质量要求这三者与调查回收率所构成的相互关系中,调查的总工作量和对调查资料质量的要求往往与调查回收率的高低成反比,而调查人员的努力程度则与调查回收率成正比。在其他条件相同的情况下,一项调查的总工作量越大、对调查资料质量的要求越高、调查人员的努力程度越低,调查的回收率就会越低。特别是对调查资料的质量要求与对高回收率的要求常常在客观上形成冲突并相互制约。而任何一项调查的研究者都无一例外地要在这样一种不可兼得同时又相互制约的关系面前做出自己的选择。
六、高回收率更好吗
分析了调查中的高回收率何以可能或不可能的各种影响因素,我们就不难回答高回收率是不是更好的问题。表面上看,回收率越高,调查样本的代表性越大。因此,当然是回收率越高越好。但是,这只是一种理论上的回答。如果加上现实的因素,或许过高的回收率并不一定是件好事。这是因为,在现实社会中,要获得高质量的高回收率并不是一件容易的事情。现实中的社会调查总是会遇到这样那样的困难和挑战。在这些困难和挑战面前,为了保证调查的高回收率,研究者最经常采取的做法就是在调查对象抽取、调查访问实施等操作环节中进行若干改变或替换,以一种易于进行的方式来实施。而正是这些改变和替换,虽然保证了较高的回收率,却在不知不觉中降低了调查资料的质量。
正是由于十分了解严格执行随机抽样和实地调查所必然面临的许多客观障碍和所必然造成的回收率下降的现象,所以,当听到高回收率时,有经验的研究者就会很自然地对调查实际实施的严格性提出疑问。这就是那位美国教授为什么会以一种对高回收率表示怀疑和将高回收率看作缺点而提问的主要原因。在他眼里,过高的回收率实际上意味着调查过程的不严格性,其结果则是调查资料的低质量。
七、寻求高回收率与高质量的平衡
对于如何才能做到高回收率与高质量平衡的问题,目前并没有可以依据的答案。但笔者认为,要做到这一点,最为关键的一环是要提高调查员的工作质量。实际上,一项调查中大量的制约因素都是客观的,或者说都是难以改变的(比如调查的目标、调查的内容、抽样的方法、样本的性质、样本的规模等等)。真正可以发生变化的影响因素则主要是建立在调查员的工作态度和工作能力基础上的调查员工作质量。这也是调查研究中,研究者十分注意调查员培训、调查员报酬、调查督导和检查等工作的根本原因。这些方式都是从不同的方面在为提高调查员的工作质量做出努力。但是,研究者往往会忽视另一个重要的因素:调查员是普通人。作为普通人,他不可能超出某种生理的和心理的极限达到研究者所期待的工作质量。笔者多次遇到这样的情况:一些受过系统的社会调查训练、具有多次调查实践经验(即有很好的工作能力)、做事认真负责(即有很好的工作态度)的调查员,用自责和内疚的语气对笔者说:由于调查任务实在太大,为了完成调查,后来只好马虎应付了。这样的结果必然是回收率保证了,资料的质量却下来了。针对这一现象,笔者从自己的调查实践中总结出一点具体操作方法上的心得,提出来供广大同行参考。
笔者的基本指导思想是将调查员当作普通人。从这一前提出发,将调查员的日平均工作量以及在一项调查中的总工作量都限定在一定的范围内,从生理和心理上保证调查员的工作质量。笔者提出的调查员日平均工作量的标准是:一般规模的问卷(半小时左右的访问工作量),调查员每天完成的数量最好定在4—6份的范围内。而调查员的总工作量标准是:对于一般中小规模的调查来说,最好限制在30份问卷的范围内,对于较大规模的调查也应该限制在50份问卷的范围内。无论是超出了日平均工作量,还是超出了调查的总工作量,都有可能带来调查质量的下降。