電商數據挖掘之關聯算法(2)數據分析師

在數據挖掘過程中，由于數據存在分散性和偶然性，因而在底層的數據關聯上很難準確挖掘出強關聯規則，進而也很難為我們決策提供參考。通常的解決的方案通常是引入概念層次，在較高的層次上，我們就可以通過“支持度和置信度”的框架來挖掘多層關聯規則。

　　在《電商數據挖掘之關聯算法(一)：“啤酒＋尿布”的關聯規則是怎么來的》，我們介紹了關聯規則的基本概念，這一期則以數據實例來看最著名的Apriori關聯算法的演算過程。

　　從一家公司的銷售記錄中我們找到以下8條消費記錄，并以3作為最小支持度，也就是說出現頻率在3次以下的記錄是被我們所忽略的。

　　所有滿足最小支持度3的1項頻集如下，其中的支持度是指該產品在整個數據集中出現的次數。比如牛奶出現了5次，而冰淇淋出現了3次。

　　遞歸執行，所有滿足最小支持度3的2項頻集如下，這其中出現最多的頻集是｛牛奶，面包｝和｛面包，果醬｝，各自出現了4次。

　　再次遞歸執行，所有滿足最小支持度3的3項頻集只剩下一條：

　　那么｛牛奶，果醬，面包｝就是我們要的滿足最小支持度3的3項頻集，也就是說牛奶、果醬和面包這三個商品是最經常被一起購買的。

　　概念層次的數據挖掘

　　在研究挖掘關聯規則的過程中，許多學者發現在實際應用中，對于很多應用來說，由于數據分布的分散性，數據比較少，所以很難在數據最細節的層次上發現一些強關聯規則。要想在原始的概念層次上發現強的(strong)和有意義的(interesting)關聯規則是比較困難的，因為好多項集往往沒有足夠的支持數。

　　當我們引入概念層次后，就可以在較高的層次上進行挖掘。雖然較高層次上得出的規則可能是更普通的信息，但是對于一個用戶來說是普通的信息，對于另一個用戶卻未必如此。所以數據挖掘應該提供這樣一種在多個層次上進行挖掘的功能。

　　概念層次在要挖掘的數據庫中經常是存在的，比如在一個超市中會存在這樣的概念層次：蒙牛牌牛奶是牛奶，伊利牌牛奶是牛奶，王子牌餅干是餅干，康師傅牌餅干是餅干等。

　　如果我們只是在數據基本層發掘關系，｛蒙牛牌牛奶，王子牌餅干｝，｛蒙牛牌牛奶，康師傅牌餅干｝，｛伊利牌牛奶，王子牌餅干｝，｛伊利牌牛奶，康師傅牌餅干｝都不符合最小支持度。不過如果我們上升一個層級，會發現｛牛奶，餅干｝ 的關聯規則是有一定支持度的。

　　我們稱高層次的項是低層次項的父親層次(parent)，這種概念層次關系通常用一個DAG(directed acyclic graph，有向無環圖)來表示。所謂有向無環圖是指，任意一條邊有方向，且不存在環路的圖。這樣我們就可以在較高的概念層次上發現關聯規則。

　　支持度的設置策略

　　根據規則中涉及的層次和多層關聯的規則，我們可以把關聯規則分為同層關聯規則和層間關聯規則。多層關聯規則的挖掘基本上可以沿用“支持度—置信度”的框架。不過，在支持度設置的問題上有一些要考慮的東西。

      同層關聯規則可以采用兩種支持度策略：

　　統一的最小支持度。對于不同的層次，都使用同一個最小支持度。這樣對于用戶和算法實現來說都比較容易，但是弊端也是顯而易見的。

　　遞減的最小支持度。每個層次都有不同的最小支持度，較低層次的最小支持度相對較小。同時還可以利用上層挖掘得到的信息進行一些過濾的工作。層間關聯規則考慮最小支持度的時候，應該根據較低層次的最小支持度來定。

　　以上我們討論的基本上都是同一個字段的值之間的關系，比如用戶購買的物品。換句話說就是在單維或者叫維內的關聯規則，這些規則很多都是在交易數據庫中挖掘的。

　　但是對于實際應用來說，多維的關聯規則可能是更加有價值的。

　　同時，在挖掘維間關聯規則和混合維關聯規則的時候，還要考慮不同的字段種類，是分類型數據還是數值型數據等等。