導讀：描述“富者愈富，窮者愈窮”的馬太效應，以及經濟學中的帕累托法則，其背后的數學模型是什么？在統計學中，它們可以被抽象成冪律分布。

作者：帕諾斯·盧里達斯（Panos Louridas）

來源：大數據DT（ID：hzdashuju）

內容摘編自《真實世界的算法：初學者指南》

我們在城市規模中看到的模式：大多數人類居住地區的規模達不到以百萬來計數，但少數地區能達到數百萬人規模。在數字王國里，大多數網站的訪問量很低，但少數網站的訪問量非常龐大。在文學領域，大多數書籍幾乎無人閱讀，但少數書籍暢銷異常。

所有這些都讓我們回憶起“富者愈富，窮者愈窮”的現象。

在語言學中，這種現象被稱為Zipf定律，以哈佛的語言學家George Kingsley Zipf的名字命名，他觀察到在一種語言中第i位最常見的單詞出現的頻率正比于1/i。Zipf定律指出，在一個n個單詞的語料庫中，遇到第i位最常見單詞的概率為

其中

數Hn在數學領域出現非常頻繁，值得為它起一個名字——第n位調和數（harmonic number）。這個名字源自何處？它源于音樂中的泛音或稱和聲。一根弦以一個基波長震動，同時還以1/2，1/3，1/4，…的諧波長震動：這對應一個無窮和，當n=∞時，它被稱為調和級數（harmonic series）。

由于Zipf定律給出了一個事件的概率，因此也用它命名了對應的概率分布。

在表11-1中，你可以看到一個英語語料庫（布朗語料庫，包含981716個單詞，其中有40234個不同單詞）中最常見的20個單詞，其經驗概率是通過統計它們在語料庫中出現的次數來計算的，而它們的理論概率則是根據Zipf定律/分布計算的。簡言之，我們給出了排名、單詞、經驗分布和理論分布。

• 表11-1 布朗英語語料庫中20個最常見的單詞及其概率和Zipf定律給出的理論值

在圖11-4中，我們繪制了表11-1中的數據。注意，分布只是為整數值定義的。我們增加了一條差值線來顯示總體趨勢。另外注意，理論概率和經驗概率并不是完全重疊。這是我們將一個數學模型應用到現實世界時必須要面對的情況。

▲圖11-4 布朗語料庫中最常見的20個單詞的Zipf分布

當我們發現一個快速下降的趨勢時，如圖11-4中的趨勢，就有必要檢查一下，如果我們將熟悉的x和y坐標軸替換為對數坐標軸會發生什么。在對數坐標軸中，我們將所有值轉換為它們的對數后繪制出來，圖11-5給出了與圖11-4等價的對數坐標圖：對每個y我們使用log y，對每個x，我們使用log x。

▲圖11-5 對數坐標軸下布朗語料庫中最常見的20個單詞的Zipf分布

如你所見，理論分布的趨勢現在變為一條直線，經驗分布看起來位于理論預測值上方一點。在大多數情況下，理論分布與我們實際觀測的結果會有一些不同，而且，兩個圖只顯示了包含前20個最常見單詞的子集，因此，基于它們我們不能真正判斷是否吻合。

為了觀察真正發生了什么，請查看顯示了布朗語料庫中所有40234個不同單詞的完整分布的圖11-6和圖11-7。有兩個現象凸顯出來：首先，除非我們使用對數刻度，否則圖是無用的，這很好地說明了分布有多么不均勻，我們必須使用對數值，否則任何趨勢都不可見；第二，一旦我們使用了對數坐標軸，理論值和經驗觀察結果的吻合要好得多。

▲圖11-6 布朗語料庫的經驗分布和Zipf分布

▲圖11-7 對數坐標軸下布朗語料庫的經驗分布和Zipf分布

在對數刻度下，我們能看清所有東西，因為Zipf定律是冪率（power law）的一個特例。冪率是指一個值出現的概率正比于此值的負指數，用數學語言描述就是：

P(X=x) ∝ cx-k，其中 c ＞ 0，k ＞ 0

在此公式中，符號∝表示“正比于”?，F在我們可以解釋為什么對數圖是一條直線了。如果有y=cx-k，我們可得y=log(cx-k)=log c-klog x。最后一部分就是一條直線y，截距等于log c，斜率等于-k。因此當我們遇到在對數圖里成一條直線的數據時，就是其理論分布可能是冪率的明顯信號。

經濟學中冪率的一個例子是帕累托法則，它指出80%的結果源自20%的起因。在管理學和流行的大眾理解中，其含義通常變為20%的人做了80%的工作。在帕累托法則中可以證明P(X=x)=c/x1-θ，其中θ=log 0.80/log 0.20。

冪率是如此普遍，以至于在過去二十年間產生了一個研究相關現象的完整領域似乎任何事情都有冪率現象隱藏在背后。

除了在介紹馬太效應時已經提到的例子外，我們還發現冪率出現在如科技論文的引用、地震震級和月球隕石坑的直徑等如此不同的領域中，還有生物物種隨時間推移而增多、分形學、食肉動物的覓食模式以及太陽耀斑的射線峰值強度，其中也都有冪率現象存在。

這個列表還能繼續增加：一天中長途電話的數量、停電影響的人群數量、姓氏出現的頻率等。

這種規律有時似乎是憑空冒出來的。例如，一個相關的定律是Benford定律（Benford's law），因物理學家Frank Benford的名字而命名，也被稱為第一位法則（First-Digit law）。它指出了在很多種類的數據中數字頻率的分布。

具體地，它指出，一個數的第一位數字是1的概率是30%，從2到9每個數字出現在第一位的頻率逐漸降低。用數學語言表達，這個定律指出，一個數的首位數字是d=1，2，…，9的概率是

如果我們計算每個數字的概率，就會得到表11-2中的結果。表中的數值告訴我們，如果數據庫中有一組數，其首位數字為1的概率約為30%，大約有17%的數會以2開頭，大約有12%的數會以3開頭，依此類推。

• 表11-2 Benford定律，給出了數字出現在一個值首位的概率

圖11-8中給出了Benford定律的一個圖示?？雌饋砗妄R普夫分布沒有太大不同，因此我們可能想知道如果用對數坐標軸繪制的話圖會變成什么樣子。圖11-9給出了結果，幾乎就是一條直線，意味著Benford定律與冪率相關。

▲圖11-8 Benford定律

▲圖11-9 對數坐標軸下的Benford定律

Benford定律的廣度令人震驚。它適用于如物理常量、世界上最高建筑物的高度、人口數、股票價格、街道地址等如此不同的數據集，還有很多。

實際上，它看起來如此普遍，以至于一種檢測偽造數據的方法就是檢查包含的數值是否不服從Benford定律。欺詐者會修改真實值或用隨機值替代真實值，他們不會注意得到的數值是否服從Benford定律。因此如果我們遇到一個看起來可疑的數據集，最好先檢查首位數字是否服從Benford概率。

如果我們的搜索模式反映了數據分布模式，即如果記錄的關鍵字服從Benford定律，且我們正在搜索的關鍵字也服從Benford定律的話，Benford定律可能影響我們的搜索。如果是這種情況，會有更多的記錄具有以1開頭的關鍵字，對這些關鍵字的搜索也會更多，以2開頭的關鍵字少一些，依此類推。

關于作者：帕諾斯·盧里達斯（Panos Louridas），曼徹斯特大學軟件工程博士，現為雅典經濟與商業大學管理科學與技術系副教授。在加入高校之前，曾在投資銀行擔任高級軟件工程師。

本文摘編自《真實世界的算法：初學者指南》，經出版方授權發布。