McK & Note

想/McKinsey Global Institute 報告的可信度?

這篇文章質疑了 MGI《中國數字消費者調查報告: 對選擇和變化日益強烈的渴望》中數據的合理性,從四個方面分析為什麼這些數據可能是有問題的,並得出「MGI 的報告主要是用來宣傳,專業度不高」這個結論。文章前兩段主要是將這份報告的統計方法與數據與中國互聯網絡信息中心(CNNIC)所發佈的報告作對比,先是從第一段得出了「MGI 報告的採樣數據較少,所以較不可信」的假設,並以第二段的「MGI 報告與 CNNIC 報告的數據相差很大」強化這個假設;三四段則以常識跟經驗進一步說明「MGI 報告中三四線城市的統計數據與常識相悖」與「MGI 報告的結論不需要數據支撐,有倒果為因之嫌」,因此 MGI 報告不可信。
 
這篇文章的邏輯跟寫作滿清晰,也是百度百家上「麦肯锡」搜尋結果中人氣最高的文章,不過我們可以想想「電商老兵鬥牛士」提到的證據是否足以支撐他的假設。首先,第一段說 MGI 用了 6,000 份樣本,但 CNNIC 用了 76,000 份樣本,所以 MGI 的報告可信度較低。雖然理論上樣本數越大,統計品質也越高,但考慮到 MGI 的統計以主觀問答為主,CNNIC 的統計也有虛報嫌疑(文章有提到),我們必須先瞭解原始數據與統計方法,才能對統計品質下定論;但這些關鍵的細節,往往不會體現在對外公佈的免費報告當中(事實上,就算寫信去問也不一定能得到答覆),因此我們不能貿然下「MGI 報告的統計品質比 CNNIC 報告來得差」這個假設,也無法解釋為什麼兩份報告中數據會差得這麼多。所以在沒有印證數據假設的前提下,就接著說「數據上的差異足以證明 MGI 的報告有問題」是有瑕疵的。
 
第三段提到,假設「網購達人」是指網購頻率很高的人,那「三四線城市的網購達人比例比一二線城市的來得高」按消費、教育水準等常識來想是不合理的。確實,「網購達人」的定義有待釐清,要保證這種主觀問題的正確性也不容易,但常識也不足以撼動正在發生的事實,唯有更詳細的資訊能印證這個假設。大前研一在《思考的技術》中就一再強調別把現象與原因搞混,只有證據才能印證假設。如果三四線城市的網購消費者比例真的比較高,我們就得根據這個證據推翻自己的假設(或常識),往下繼續探討可能的原因,例如會不會是因為三四線城市消費者的開銷趕過當地的商場等級,所以才選擇上網購物?如果只是討論常識的話,各大電商今年在農村佈局的動作很大,也會讓人聯想會不會農村網購即將興起,但這些討論都得本著事實。
 
最後,第四段還是說數據有瑕疵、無法支撐 MGI 報告的結論,而且這些結論只要在網購行業待得夠久都能想出來,並不需要數據支撐,所以這份報告有倒果為因之嫌。撇開第一段的數據問題假設,要驗證這個說法,可以實際去下載完整報告來讀,畢竟作者提到的一句話結論,在報告裡是分成好幾部分的,我們可以仔細讀這些數據是否必要,以及是否能有效印證各個假設。另外,MGI 報告的發行對象並不只有業內人士,也包括了一般大眾,而前者與後者的差別,正在於他們對這些資訊與數據的熟悉程度,因此,我們不能說這些數據是不必要的,MGI 有完整闡述一件事情的權利。
 
如果只是提出假設的話,我也可以從這篇文章的立場與書寫風格,合理推測這位「電商老兵鬥牛士」先抱著對外商諮詢的不信任感,才用了「本地的數據」與「本人的經驗」反駁 MGI 的文章;但要印證這個假設,我必須深入瞭解這個人,以及他的這些指控是否為真。我不能抱著這個假設,然後就開始找作者的碴,最後寫成一篇充滿偏見的報告,把未經驗證的假設當作結論,只會讓腦袋停止思考,接著浪費時間往錯誤的方向研究。
 
鬥牛士的這些指控也讓我反省,別把 MGI 報告的水準,當成 McKinsey Client Service 的水準。MGI 發佈的報告很好,但 Client Service 的水準可以更好,畢竟後者是要收錢做事的,有專人會回答你對報告的任何問題。同樣地,別因為 PST 的水準過於普通,就懷疑分析師的能力,覺得「這樣的試題我也能出、能用,所以這些分析師並不比我公司的人強。」McKinsey 願意發佈這些報告跟試題,是出自它的企業文化,我們讀資料的目的不在於徹底驗證,而是在不同的假設與證據之間切換,訓練自己的思辨能力。

圖片來源:Pexels