來源：AI入門學習

作者：小伍哥

一、基礎概念

1、算法概述

關聯規則挖掘可以讓我們從數據集中發現項與項（item 與 item）之間的關系，它在我們的生活中有很多應用場景，“購物籃分析”就是一個常見的場景，這個場景可以從消費者交易記錄中發掘商品與商品之間的關聯關系，進而通過商品捆綁銷售或者相關推薦的方式帶來更多的銷售量。所以說，關聯規則挖掘是個非常有用的技術。

關聯規則是反映一個事物與其他事物之間的相互依存性和關聯性，常用于實體商店或在線電商的推薦系統：通過對顧客的購買記錄數據庫進行關聯規則挖掘，最終目的是發現顧客群體的購買習慣的內在共性，例如購買產品A的同時也連帶購買產品B的概率，根據挖掘結果，調整貨架的布局陳列、設計促銷組合方案，實現銷量的提升，最經典的應用案例莫過于<啤酒和尿布>。

關聯分析又稱關聯挖掘，就是在交易數據、關系數據或其他信息載體中，查找存在于項目集合或對象集合之間的頻繁模式、關聯、相關性或因果結構。能從大量數據中發現項集之間有趣的關聯和相關聯系。關聯分析的一個典型例子是購物籃分析。該過程通過發現顧客放人其購物籃中的不同商品之間的聯系，分析顧客的購買習慣。通過了解哪些商品頻繁地被顧客同時購買，這種關聯的發現可以幫助零售商制定營銷策略。其他的應用還包括價目表設計、商品促銷、商品的排放和基于購買模式的顧客劃分。

可從數據庫中關聯分析出形如“由于某些事件的發生而引起另外一些事件的發生”之類的規則。如“67%的顧客在購買啤酒的同時也會購買尿布”，因此通過合理的啤酒和尿布的貨架擺放或捆綁銷售可提高超市的服務質量和效益。又如“C語言課程優秀的同學，在學習‘數據結構’時為優秀的可能性達88%”，那么就可以通過強化“C語言”的學習來提高教學效果。

2、應用場景

01）互聯網推薦

個性化推薦：在界面上給用戶推薦相關商品

組合優惠券：給購買過得用戶發放同時購買組合內商品的優惠券

捆綁銷售：將相關商品組合起來銷售

02）線下店鋪分析

商品配置分析：哪些商品可以一起購買,關聯商品如何陳列/促銷

客戶需求分析：分析顧客的購買習慣/顧客購買商品的時間/地點等

3）金融保險

經由購物籃分析能夠設計不同的服務組合以擴大利潤；能藉由購物籃分析偵測出可能不尋常的投保組合并作預防。

4）風控領域

分析同時行動的賬號、尋找有效的策略組合

3、幾個概念

關聯規則三個核心概念：支持度、置信度、提升度，用最經典的啤酒-尿不濕給大家舉例說明這三個概念，以下是幾名客戶購買的商品列表：

01）支持度

支持度 (Support)：指某個商品組合出現的次數與總次數之間的比例。

在這個例子中，我們可以看到“牛奶”出現了 4 次，那么這 5 筆訂單中“牛奶”的支持度就是 4/5=0.8。

同樣“牛奶 + 面包”出現了 3 次，那么這 5 筆訂單中“牛奶 + 面包”的支持度就是 3/5=0.6

這樣理解起來是不是非常簡單了呢，大家可以動動手計算下 '尿不濕+啤酒'的支持度是多少

02）置信度

置信度 (Confidence)：指的就是當你購買了商品 A，會有多大的概率購買商品 B

置信度（牛奶→啤酒）= 3/4=0.75，代表如果你購買了牛奶，有多大的概率會購買啤酒

置信度（啤酒→牛奶）= 3/4=0.75，代表如果你購買了啤酒，有多大的概率會購買牛奶？

置信度（啤酒→尿不濕）= 4/4=1.0，代表如果你購買了啤酒，有多大的概率會買尿不濕

由上面的例子可以看出，置信度是個條件概念，就是說在 A 發生的情況下，B 發生的概率是多少。

03）提升度

提升度 (Lift)：我們在做商品推薦或者策略的時候，重點考慮的是提升度，因為提升度代表的是商品 A 的出現，對商品 B 的出現概率提升的程度。

提升度 (A→B) = 置信度 (A→B)/ 支持度 (B)

所以提升度有三種可能：

提升度 (A→B)>1：代表有提升；

提升度 (A→B)=1：代表有沒有提升，也沒有下降；

提升度 (A→B)<1：代表有下降。

提升度 (啤酒→尿不濕) =置信度 (啤酒→尿不濕）/支持度 (尿不濕)=1.0/0.8=1.25

可見啤酒對尿不濕是有提升的，提升度為1.25，其實可以簡單理解為：在全集的情況下，尿不濕的概率為0.8，

而在包含啤酒這個子集中，尿不濕的概率為1，因此，子集的限定，提高了尿不濕的概率。

04）頻繁項集

頻繁項集(frequent itemset) ：就是支持度大于等于最小支持度 (Min Support) 閾值的項集，

所以小于最小值支持度的項目就是非頻繁項集，而大于等于最小支持度的的項集就是頻繁項集。項集可以是單個商品，也可以是組合

Apriori算法核心思想：

某個項集是頻繁的，那么它的所有子集也是頻繁的。

{Milk, Bread, Coke} is frequent → {Milk, Coke} is frequent

如果一個項集是 非頻繁項集，那么它的所有超集也是非頻繁項集

{Battery} is infrequent → {Milk, Battery} is infrequent

如圖所示，我們發現{A,B}這個項集是非頻繁的，那么{A,B}這個項集的超集，{A,B,C},{A,B,D}等等也都是非頻繁的，這些就都可以忽略不去計算。

運用Apriori算法的思想，我們就能去掉很多非頻繁的項集，大大簡化計算量。

二、算法介紹

這里用的是Python舉例，用的包是apriori，當然R語言等其他語言，也有對應的算法包，原來都是一樣的。

#包安裝 pip install efficient-apriori #加載包 from efficient_apriori import apriori # 

構造數據集 data = [('牛奶','面包','尿不濕','啤酒','榴蓮'),
        ('可樂','面包','尿不濕','啤酒','牛仔褲'),
        ('牛奶','尿不濕','啤酒','雞蛋','咖啡'),
        ('面包','牛奶','尿不濕','啤酒','睡衣'),
        ('面包','牛奶','尿不濕','可樂','雞翅')] #挖掘頻繁項集和頻繁規則 itemsets, rules = 

apriori(data, min_support=0.6,  min_confidence=1) #頻繁項集 print(itemsets)
{1: {('啤酒',): 4, ('尿不濕',): 5, ('牛奶',): 4, ('面包',): 4}, 2: {('啤酒', '尿不濕'): 4,

 ('啤酒', '牛奶'): 3, ('啤酒', '面包'): 3, ('尿不濕', '牛奶'): 4, ('尿不濕', '面包'): 4,

 ('牛奶', '面包'): 3}, 3: {('啤酒', '尿不濕', '牛奶'): 3, ('啤酒', '尿不濕', '面包'): 3, 

('尿不濕', '牛奶', '面包'): 3}}
itemsets[1] #滿足條件的一元組合 {('啤酒',): 4, ('尿不濕',): 5, ('牛奶',): 4, ('面包',): 4}
itemsets[2]#滿足條件的二元組合 {('啤酒', '尿不濕'): 4,('啤酒', '牛奶'): 3,('啤酒', '面包'): 

3,('尿不濕', '牛奶'): 4,('尿不濕', '面包'): 4,('牛奶', '面包'): 3}
itemsets[3]#滿足條件的三元組合 {('啤酒', '尿不濕', '牛奶'): 3, ('啤酒', '尿不濕', '面包'): 

3, ('尿不濕', '牛奶', '面包'): 3} #頻繁規則 print(rules)
[{啤酒} -> {尿不濕}, {牛奶} -> {尿不濕}, {面包} -> {尿不濕}, {啤酒, 牛奶} -> 

{尿不濕}, {啤酒, 面包} -> {尿不濕}, {牛奶, 面包} -> {尿不濕}]

三、挖掘實例

每個導演都有自己的偏好、比如周星馳有星女郎，張藝謀有謀女郎，且鞏俐經常在張藝謀的電影里面出現，因此，每個導演對演員的選擇都有一定的偏愛，我們以寧浩導演為例，分析下選擇演員的一些偏好，沒有找到公開的數據集，自己手動扒了一部分，大概如下，有些實在有點多，于是簡化下進行分析

可以看到，我們一共扒了9部電影，計算的時候，支持度的時候，總數就是9.

#把電影數據轉換成列表 data = [['葛優','黃渤','范偉','鄧超','沈騰','張占義','

王寶強','徐崢','閆妮','馬麗'],
['黃渤','張譯','韓昊霖','杜江','葛優','劉昊然','宋佳','王千源','任素汐','吳京'],
['郭濤','劉樺','連晉','黃渤','徐崢','優恵','羅蘭','王迅'],
['黃渤','舒淇','王寶強','張藝興','于和偉','王迅','李勤勤','李又麟','寧浩','管虎','梁靜','

徐崢','陳德森','張磊'],
['黃渤','沈騰','湯姆·派福瑞','馬修·莫里森','徐崢','于和偉','雷佳音','劉樺','鄧飛','

蔡明凱','王戈','凱特·納爾遜','王硯偉','呲路'],
['徐崢','黃渤','余男','多布杰','王雙寶','巴多','楊新鳴','郭虹','陶虹','黃精一','趙虎','王輝'],
['黃渤','戎祥','九孔','徐崢','王雙寶','巴多','董立范','高捷','馬少驊','王迅','劉剛','

WorapojThuantanon','趙奔','李麒麟','姜志剛','王鷺','寧浩'],
['黃渤','徐崢','袁泉','周冬雨','陶慧','岳小軍','沈騰','張儷','馬蘇','劉美含','王硯輝','焦俊艷','郭濤'],
['雷佳音','陶虹','程媛媛','山崎敬一','郭濤','范偉','孫淳','劉樺','黃渤','岳小軍','傅亨','王文','楊新鳴']]

#算法應用 itemsets, rules = apriori(data, min_support=0.5,  min_confidence=1) print(itemsets)
{1: {('徐崢',): 7, ('黃渤',): 9}, 2: {('徐崢', '黃渤'): 7}} print(rules)
[{徐崢} -> {黃渤}]

通過上述分析可以看出：

在寧浩的電影中，用的最多的是黃渤和徐崢，黃渤9次，支持度100%，徐崢7次，支持度78%，('徐崢', '黃渤') 同時出現7次，置信度為100%，看來有徐崢，必有黃渤，真是寧浩必請的黃金搭檔。

當然，這個數據量比較小，基本上肉眼也能看出來，這里只是提供一個分析案例，鞏固下基礎知識，大規模的數據，人眼無法直接感知的時候，算法的挖掘與發現，就顯得特別有意義了。