8/02/2014

The Signal and the Noise

Nate Silver, The Signal and the Noise: Why So Many Predictions Fail — but Some Don't,
Penguin Press, 2012
蘇子堯譯,精準預測:如何從巨量雜訊中,看出重要的訊息?,三采,2013

前 7 章說明預測的困難,包括較複雜的 (第四到七章) 動態系統 (dynamic systems)
在本書中,席佛針對政治選情、球賽結果與球員價值的評估、金融風暴、氣象、地震、撲克賭局、西洋棋賽、股市投資等跨領域的預測難題,做了精闢的個案分析。
成功的例子之一
他在 2008 年美國總統大選之前成立了「五三八」網站 (註 1),發表他的選情預測,獲得廣泛注意,隨後他在這個網站公布預測,成功預測歐巴馬勝選,而且是在 50 州的個別選舉結果中,49 州預測正確,35 名參議員選舉更完全命中。2012年的總統大選,他再度成功預測歐巴馬勝選,這次 50 州全部命中。
第 2 章說明其選情預測的原則,針對各種民意調查的歷史精準度,給予不同的權重 (weighting),得到一個持續改進的機率分配 (probability distribution)。第 8 到 10 章使用貝氏定理 (Bayes's Theorem) 解說其概念,並沒有進一步的分析。例如
根據貝氏定理的公式計算,第一架飛機事故前,美國高樓被恐怖攻擊的可能性根據歷史紀錄可是兩萬分之一,或者說 0.005% (註 2)。第一架飛機事故發生後,美國被恐怖攻擊的機率當下被改寫,提高到了 38% (註 3)。這時,當我們再預估第二架飛機撞上高樓發生的機率時,運用貝氏定理的公式計算之後,整體機率陡增到 99.99% (註 4)。
本書透過各界翹楚的研究報告和訪談內容,大都使用圖片和文字說明這些複雜的預測問題,就像在讀一本有趣的故事書。上例是少數的數學式,也清楚說明作者的選情預測為何如此地精準。

最後 3 章說明貝氏定理的可能應用。

(註 1) 538 是美國選舉人團 (Electoral College) 的總票數

(註 2) 應該是曼哈頓  (Manhattan),不是美國。機率 0.005% 是預估 (原文 247 頁 Initial estimate of how likely it is that terrorists would crash planes into Manhattan skyscrapers),不是歷史紀錄。根據歷史紀錄,1932 到 2001 年之間,有兩次的意外撞機,所以條件機率  P(撞機 | 意外) = 2 次 / 25000 天 = 0.008% (原文註解說是 1942 年,但是 25000 天大約是 68 年,所以應該是 1932 年)。看中譯本要小心,例如英文版的作者介紹為
Nate Silver is a statistician, writer, and founder of The New York Times political blog FiveThirtyEight.com.
中譯本卻變成有趣的
他精通統計學,是美國當代知名的統計與預測鬼才。
不知道是我太拘泥於信雅達,還是中譯者或書商想要推高銷售量。

(註 3) 書中沒有說明數字來源。根據貝氏定理











(註 4) 第二架飛機攻擊世貿中心後

沒有留言:

張貼留言