南康大講堂│第二講《社會調查研究經驗雜談》：帶你領略調查研究的“高地”

一 不要倒在起跑線上——信度和效度

不要倒在起跑線上，從學術上來講，關鍵讓我們一開始的測量具有信度和效度。信度是你的測量必須有可靠性，進行重復的測量，能夠得出相同的結果，測量的結果是穩定的，這就叫做有信度。信度具體分成三種不同的類型，再測信度、復本信度、折半信度。

再測信度：用同一份問卷就無償獻血意愿對某校大學生先后兩次進行調查，第一次結果是愿意參加者占87.8%，一周后再次調查的結果是愿意參加者占88%，兩次調查的結果相差0.2%，這就是該校大學生無償獻血意愿的再測信度。

復本信度：類似于考試的a，b卷，研究者也可以設計出兩套復本問卷，并保證他們在內容、長度、題量、難度、填答時間、問題排列等方面的相似性，如果兩套問卷對同一群體的測量結果相近，則有復本信度。

折半信度：關于大學生生活狀況的調查，可以先把問卷中的問題分為“消費”、“學習”、“閑暇生活”、“家庭背景”等幾大類，然后把每一類型內的問題按隨機原則分成兩半，計算兩半問題的相關性，相關性高，則有折半信度。

效度是另外一個相關的概念，是指測量工具和測量手段能不能準確測量出你所要測量的變量的程度或者夠不夠準確，能不能真實反映你要測量的事物的屬性。也分三種情況，有表面效度、準則效度、構造效度。一句話，有效度的問題，是你想問什么，這個問題能夠達到你的效果。

信度和效度的關系。首先，有信度不一定有效度，這是一句話，你很穩定，但是穩定了要測量的東西，并不是真正想要的東西。咱們去打標榜，我們的目標是中心的紅心，但是我們偏到右上角了，就是你的射點是很集中很穩定的，但是不是你想要的目標。我的目標是打中間，但是我偏的很穩定，老往那邊偏，可能是槍的準心歪了。有信度不一定有效度，那么假設你打這個有時候左、有時候右，有時候下，信度、效度就都不高。有信度不一定有效度，但是沒信度一定沒效度，因為都不穩定，肯定打不到靶心。

下面我們看一下具體的例子，這是經常犯的錯誤，“你家里有多少口人？”看起來好像是清楚的問題，但是你想想，我這樣問你，你會怎么答？以什么為標準，我家里的戶口本有多少人，戶口本有5個人，有5頁紙就是5個人。有些人說住在同一個屋檐下有7個人，我就說7個人，有些不是這樣想，我們一家人不住在一起，但是經濟上一起開支，每頓飯一起吃，是8個人。你不給他回答人口計算的明確指標，不同的人就有不同的想法，就從不同的角度回答，甚至同一個人，今天從戶口的角度回答，明天從是否住在一起的角度回答，這就不穩定了。不穩定就達不到真實的，把握家庭人口結構的目的，這個既沒信度，也沒效度。

二 小心行差鑄錯——如何避免誤差

抽樣框架的誤差

調查方案設計中誤差的來源是很多的，舉列子說明，有些誤差來自于抽樣，美國40年代有一次總統選舉，每年的預測都很準確，但是那次完全反了，因為改變了抽樣框架，以汽車牌為抽樣框，抽到車牌，找到擁有汽車的被訪者做訪問。早年美國人也不是那么多人擁有汽車，有錢人才有汽車。而美國的兩個黨，民主黨和共和黨，一個人富人黨，一個是窮人黨。你抽的全部是富人，他們的政治傾向肯定偏向某一個，你抽不到窮人，他們意見沒反映。結果就不準確。

社會贊許

被調查者的誤差可能來自于他們不能正確回答的誤差，不能正確回答，考慮到社會贊許，不按實際情況回答問題導致的誤差。比如你想問孝不孝順的問題，沒有人愿意回答“不孝順”，避免這種誤差的做法就是讓問題盡量不要太敏感。

數據分析誤差

    還有一些是研究者的誤差，這種誤差是他們的失誤造成的，總體定義錯了、抽樣框選錯了，或者數據分析做得不好。比如做多元回歸，每一個變量都最好是常態分布，假設是偏態的，要通過一些處理手段，讓他盡可能逼近，開方、平方、立方。還有要求自變量之間相關性不要太強。我預先做檢驗和修正，不做這些東西，資金馬上回歸，違反統計的基本要求，結果做出來的東西就有誤差。

數據解讀的誤差

還有一些誤差，來自于數據解讀。曾經有一家市場研究公司，寫成一份報告，研究背景是最初人們的娛樂生活有錄像帶，后來才有DVD，用光盤看電影。他們的調查當中，有一個結果，廣州和深圳與北京上海相比，這種傳統的錄像機的擁有量比較低，所以錄像機應該在廣州深圳開拓市場，因為擁有量低，消費者買的可能性比較大。但是我一看還有另外一個指標，當時已經有了DVD，廣州和深圳DVD的擁有量比北京上海高，其實這兩個是替代產品，廣州人為什么很多人不用錄像帶？因為他們已經換了DVD，你的結論就錯了，廣州人不是沒有娛樂產品，不是買不起，而是不買了，擁有量低，因為已經有新產品的替代。所以數據是真的，不把相關數據聯系起來分析，不考慮產品替代的問題，結果結論是錯的。這些都是誤差的來源，所以我們知道這些來源，要盡可能避免。

三 戳穿統計謊言

我讀書的時候看過一個小冊子，我作為閑書來看的。那本書叫《教你怎么用統計撒謊》，你們應該有撒謊的能力，但是也應該有戳穿謊言的能力。第一種統計謊言是圖示的辦法。比如部門要向老板展示去年的效益，這個圖怎么做是有考究的，假設今年和去年比，我用柱形表示和曲線表示，假設單位做得很大，曲線就升得比較快，我可以改變單位，懶惰的領導一看，今年上升曲線是上升的，而不是下降的。但是如果換一個單位，曲線差不多是扁平的。

第二種是瞞天過海，隱瞞基數。咱們用百分比描述現象，我們有個規矩，假設基數太小，不要用百分比。以前有一個醫生一輩子沒看過什么病，就看了兩個，一個被他治好了，一個病人被治死了。你想說這個醫生的好話，有一半的病人給他治好了，你想貶他，有一半的病人治死了。為什么出現這個結果？沒有把基數告訴人家，假設治了1萬個病人，這個百分比是靠譜的。只看了兩個病人，不符合統計要求，把基數隱瞞了。

第三種是偷梁換柱。比如統計物價，物價指數他們用的指標是不固定的，領導說物價不能上去，那我就把物價上的快的類型的指標給放在一邊，只挑物價不怎么上的產品統計進來，這樣的話，隨意更換的指標就不能反映物價的變化，你是為了達到某一個目標，人為挑選指標，使得統計的結果達到領導想看的結果，那么這種也是撒謊。當然你們應該學會撒謊，也應該學會看哪些統計是謊言。

四 如何提出可行有效的政策建議

提出可行有效的建議。我們做研究是給政府看的，政府最想看的是建議。首先政策建議這在當時的考慮，我們后來提的政策建議有兩種路徑，一個是跟著問題走，我們要做研究，我們要發現問題，要把問題找出來，要把產生問題的原因找出來，最后能夠提出因為原因找到了，可以針對原因，提出解決問題的政策建議，頭痛醫頭，腳痛醫腳，針對問題提政策建議，也是一個有效的途徑。

南康大講堂│云課堂（第三講）

主題：社會調查質量控制理論基礎

時間：5月28日

講師：中國社會科學院 任莉穎

敬請期待！