應用關聯規則模型提高超市銷量

Statistics 和 Modeler作為 IBM SPSS 軟件家族中重要的成員，是專業的科學統計、數據挖掘分析工具，其具有功能強大，應用廣泛的特點。其核心 組成部分——預測分析模型，不僅是軟件功能實現的關鍵，同時也是軟件應用的關鍵。

Statistics中的模型側重于統計分析技術， 而Modeler則側重于數據挖掘技術。它們都依據現有數據，運用某個或某幾個特定的算法，來預測用戶所關注信息的未來值。Statistics 和 Modeler提供眾多的預測模型，這使得它們可以應用在多種商業領域中：如超市商品如何擺放可以提高銷量；分析商場營銷的打折方案，以制定新的更為有效的方案；保險公司分析以往的理賠案例，以推出新的保險品種等等，具有很強的商業價值。

Statistics和 Modeler產品中含有大量基于高級數學統計算法的預測模型，為了保證算法的嚴密性及結果的精確性，模型往往還需要許多詳細的參數設定，這樣就要求用戶具有一定的統計專業知識，只有理解預測模型中的各項設置及運算結果的真實意義，才有可能結合結果做出正確的決策判斷；另外，為了滿足不同行業用戶的需求，Statistics和 Modeler涉及到數學領域中多個不同的范疇，即使專業用戶也很難了解所有模型，從而挑選出最適合他們應用的模型。

因此，為了讓更多的用戶更好更準確地使用我們的產品，最大地發揮其商業價值，我們將通過一系列的相關文章來介紹IBM SPSS軟件家族中Statistics 和 Modeler的典型預測模型以及他們在解決相應的商業問題中的實際應用。

本系列文章從實際問題出發，通過一些實際生活中常見的商業問題來引出IBM SPSS 軟件家族中的典型預測模型，手把手地指導用戶如何在軟件中對該模型進行設置，如何查看運行結果，講解運行結果的真實意義，最后引申到如何將該結果應用于解決這個具體的商業問題中來。用這種最直觀簡單的方式使即使缺乏統計學背景的用戶也能容易地理解這些預測模型，從而很好地使用我們的產品。 同時，文中也涉及了一定的統計知識，使具有專業知識的用戶能依此線索盡可能多的了解我們的產品的方方面面，從而選擇最適合他們問題的模型。

下面，我們將會陸續給大家介紹IBM SPSS 軟件家族中的Statistics 和 Modeler包含的典型預測模型。

超市典型案例

如何擺放超市的商品引導消費者購物從而提高銷量，這對大型連鎖超市來說是一個現實的營銷問題。關聯規則模型自它誕生之時為此類問題提供了一種科學的解決方法。該模型利用數據挖掘的技術，在海量數據中依據該模型的獨特算法發現數據內在的規律性聯系，進而提供具有洞察力的分析解決方案。以下我們將通過一則超市銷售商品的案例，利用 IBM SPSS Modeler 產品中的“關聯規則模型”，來分析商品交易流水數據，以其發現合理的商品擺放規則，來幫助提高銷量。文中將詳細地描述產品的設置和使用方法，以及對計算結果的分析及應用。

關聯規則簡介

關聯規則的定義

關聯規則表示不同數據項目在同一事件中出現的相關性，就是從大量數據中挖掘出關聯規則。為了更直觀的理解關聯規則，我們首先來看下圖的場景。

圖 1. 超市市場分析員分析顧客購買習慣

在上圖中，超市市場分析員分析顧客購買商品的場景，顧客購買面包同時也會購買牛奶的購物模式就可用以下的關聯規則來描述：

面包 => 牛奶 [ 支持度 =2%, 置信度 =60%] （式 1）

式 1中面包是規則前項（Antecedent），牛奶是規則后項 (Consequent)。實例數（Instances）表示所有購買記錄中包含面包的記錄的數量。支持度（Support）表示購買面包的記錄數占所有的購買記錄數的百分比。規則支持度（Rule Support）表示同時購買面包和牛奶的記錄數占所有的購買記錄數的百分比。置信度（confidence）表示同時購買面包和牛奶的記錄數占購買面包記錄數的百分比。提升（Lift）表示置信度與已知購買牛奶的百分比的比值，提升大于 1 的規則才是有意義的。關聯規則 式 1的支持度 2% 意味著，所分析的記錄中的 2% 購買了面包。置信度 60% 表明，購買面包的顧客中的 60% 也購買了牛奶。如果關聯滿足最小支持度閾值和最小置信度閾值，就說關聯規則是有意義的。這些閾值可以由用戶或領域專家設定。就顧客購物而言，根據以往的購買記錄，找出滿足最小支持度閾值和最小置信度閾值的關聯規則，就找到顧客經常同時購買的商品。

數據格式

關聯規則使用的數據可能是交易格式，也可能是表格格式，如下所述。

交易格式

交易數據對于每個交易或項目具有一個單獨的記錄。例如，如果客戶進行了多次采購，則每次采購都會有一個單獨的記錄，并且相關聯的商品與客戶 ID 相鏈接。這種格式有時稱為 行窮盡格式。

表 1. 交易格式數據
客戶    采購
1    jam
2    milk
3    jam
3    bread
4    jam
4    bread
4    milk
    表格格式
表格數據（也稱為籃子數據或真值表數據），由單獨的標志表示項目，其中每個標志字段表示一個特定項目的存在或不存在。每個記錄表示一個相關項目的完整集合。標志字段可以是分類的，也可以是數字的。
表 2. 表格格式數據
客戶    Jam    Bread    Milk
1    T    F    F
2    F    F    T
3    T    T    F
4    T    T    T規則挖掘算法

Aprior、Carma 和序列節點是常用的關聯規則挖掘算法，它們都可以使用交易格式和表格格式數據進行挖掘處理。其中 Aprior 算法，處理速度快，對包含的規則數沒有限制，是一種最有影響的挖掘關聯規則的方法。

IBM SPSS Modeler 關聯規則模型的使用

IBM SPSS Modeler 作為一種可視化的數據挖掘和建模工具，支持 Aprior、Carma 和序列節點關聯規則挖掘模型，本章節將重點介紹 Aprior 模型的設置、使用方法和結果分析。

對于超市市場分析員分析顧客購買習慣的案例，現在讓我們設定一個實際的場景，市場分析員利用超市海量的購物清單，從中分析出顧客購買啤酒會和哪些商品一起購買，依次來合理安排商品的擺放，進而提高啤酒的銷量。

對于此案例，我們使用 IBM SPSS Modeler 自帶的安裝目錄下的 Demos 文件夾下的 BASKETS1n 數據。我們希望分析出哪些商品會和啤酒一起購買，以此來合理安排商品的擺放，進而提高啤酒的銷量。

此數據屬于表格格式數據，每條記錄表示顧客的一次購物。記錄的字段包括卡號、顧客基本信息、付款方式和商品名稱（每個商品一個字段 , 該商品字段值為 T, 表示購買該商品 , 值為 F 表示未購買，具體可參考表 2, 表格格式數據）。商品名稱都有 fruitveg（水果蔬菜），freshmeat（生鮮肉），dairy（奶制品），cannedveg（罐裝蔬菜），cannedmeat（罐裝肉），fozenmeal（凍肉），beer（啤酒）, wine（酒類），softdrink（軟飲），fish（魚）, confectionery（甜食）。如何對這些數據進行分析和處理，本節會給出詳細的演示。

在做詳細介紹以前，讓我們先了解下 IBM SPSS Modeler 的建模過程，關于詳細的過程，可以參考本文給出的參考資料。IBM SPSS Modeler 中處理的基本對象是流，在流中可以添加數據節點、類型節點、建模節點等，運行后會生成模型節點，進而對模型節點進行分析，得出結論。

現在讓我們開始介紹如何創建一條包含關聯規則模型的流，來解決市場分析員的問題。本節使用 IBM SPSS Modeler 14.2 進行演示。首先打開 Modeler 產品，會出現一張空白的流界面，這時用戶可以在里面創建自己的流。

圖 2. IBM SPSS Modeler 界面

第一步，為流添加一個數據節點，這里選擇 Modeler 自帶的 Demo 數據。將界面下方選項卡的“源”選項中的“可變文件”拖放到空白界面中，雙擊打開，在文件選項卡中選擇 Modeler 自帶的 Demo 數據 BASKETS1n，如圖所示。

圖 3. 選擇添加數據節點

點擊確定按鈕，這時就成功的創建了數據節點。

第二步，為流添加類型節點，類型節點是顯示和設置數據每個字段的類型、格式和角色。從界面下方的“字段選項”卡中，將“類型”節點拖放到界面中，接著將數據節點和類型節點連接起來，或者直接在“字段選項”卡中雙擊“類型”節點，將兩者連接起來。這時雙擊打開“類型”節點，此時“類型”節點中顯示了數據的字段和其類型，點擊“類型”節點界面上的“讀取值”按鈕，這時會將數據節點中的數據讀取過來。如下圖所示。

圖 4. 設置類型節點

接著可以為參與建模的數據字段設置角色，角色分“輸入”，“目標”，“兩者”和“無”。輸入表示該字段可供建模使用，目標表示該字段為建模的預測目標，兩者表示該字段為布爾型的輸入字段，無表示該字段不參與建模。Apriori 節點需要一個或多個輸入字段和一個或多個目標字段，輸入字段和輸出字段必須是符號型字段。在此可以選擇一個或多個字段為目標字段，表明該模型的預測目標字段；對于 Apriori 建模節點，也可以不設置目標字段，則需要在建模節點中設置“后項”。

第三步，為流添加 過濾節點，將不參與的字段排除在外。該步驟為可選步驟。從“字段選項”卡中選擇“過濾”節點，并將其拖入到界面中，將“過濾”節點加入到流中。雙擊打開“過濾”節點，在不參與建模字段的箭頭上點擊，會出現一個紅叉，表示該字段被過濾掉了，不參與建模，如圖所示。

圖 5. 設置過濾節點

對于一些與建模關系不大的節點可以將其過濾掉，比如卡號、性別、家鄉和年齡字段。

第四步，有了這些前期的準備過程，接下來就可以開始創建關聯規則模型節點了，在此之前，讓我們先添加一個圖形節點—— 網絡節點，建立此節點的目的是為了讓用戶首先可以直觀的看到商品之間的關聯程度，有一個感性認識。選擇“圖形”選項卡中的“網絡”節點，將此拖入界面，將“網絡”節點加入流中，與“過濾”節點連接起來。雙擊打開網絡節點，在“字段”列表中選擇添加字段，可以將所有的商品字段添加進來；也可以點擊“僅顯示真值標志”，將只顯示那些“兩者”的字段，如圖所示。

圖 6. 網絡節點設置

點擊“選項”卡，進入選項設置，用戶可以在此設置鏈接數量的顯示范圍，不顯示一些鏈接數量低的鏈接，如圖所示。

圖 7. 網絡節點選項設置

點擊“運行”按鈕，這時會生成一個商品之間關聯程度（鏈接數量）的網絡圖，用戶可以在下方的調節桿上調節鏈接數量的顯示范圍。

圖 8. 網絡節點運行結果

上圖中，線的粗細和深淺代表聯系的強弱，可以直觀的看到 beer 和 frozenmeat，cannedeg 聯系程度比較強。接下來將開始本章節的重點部分，關聯規則模型節點的設置和使用。

第五步，添加“建?！惫濣c到流中，開始關聯規則模型設置和使用的篇章。首先點擊界面下方“建?！边x項卡，再點擊“關聯”分類，將 Apriori 節點拖放到界面中，連接該節點到過濾節點上，或者雙擊 Apriori 節點。接著設置 Apriori 節點的參數，建立關聯規則模型。雙擊打開 Apriori 節點，如下圖所示。

圖 9. Apriori 建模節點

該“字段”選項卡，是設置參與建模的字段和目標字段的，可以看到其中包括兩個選項，“使用類型節點設置”和“使用定制設置”，這里將為用戶分別呈現兩種選項的使用方法。這里無論選擇哪個選項，都需要將市場分析員重點關注的商品包括在其中，其他商品可以不包括。

如果用戶選擇“使用類型節點設置”選項，則需要雙擊打開“類型”節點，將啤酒設置為目標，將其他重點關注的商品設置為兩者或輸入，其他無用字段可以設置為無或輸入，如下圖所示。

圖 10. 設置字段當選擇“使用類型節點設置”

如果用戶選擇“使用定制設置”選項，則需要將啤酒設置在“后項”列表中，將其他重點關注的商品設置在“前項”列表中，如下圖所示。

圖11. 設置字段當選擇“使用定制設置”

這里，分區允許您使用指定字段將數據分割為幾個不同的樣本，分別用于模型構建過程中的訓練、測試和驗證階段。如果設置了“分區”，除了在此選擇分區字段外，還需要在“模型”選項卡中，勾上“使用分區數據”的選擇框。關于“分區”的概念、作用和使用方法，本文不做詳細介紹。

除此，“使用事務處理格式”選擇框，是針對于事務性數據的，如果數據為交易格式，需要勾上此選擇框，但本示例的數據為表格格式，故無需選擇。

設置好了字段后，點擊“模型”選項卡，進入模型設置。如下圖所示。

圖 12. 設置模型選項卡

用戶可以在“模型名稱”處為本模型設置一個名字，如果想使用分區功能，則需要勾上“使用分區數據”選項。

用戶為規則模型設置一個 最低條件支持度，那么模型將從所有規則中選擇那些為真，并且其對應的記錄的百分比大于此值的規則。如果您獲得的規則適用于非常小的數據子集，請嘗試增加此設置。

接著，用戶需要為模型設置一個 最小規則置信度，表明正確預測的百分比。置信度低于指定標準的規則將被放棄。如果您獲得的規則太多，請嘗試增加此設置。如果您獲得的規則太少（甚至根本無法獲得規則），請嘗試降低此設置。

用戶還可以為任何規則指定“最大前項數”。這是一種用來限制規則復雜性的方式。如果規則太復雜或者太具體，請嘗試降低此設置。

對于“僅包含標志變量的真值”選項，如果對于表格格式的數據選擇了此選項，則在生成的規則中只會出現真值。這樣使得規則更容易理解。該選項不適用于事務格式的數據。

為了提高建模性能，設置了“優化”選項供用戶選擇。選擇“速度”可指示算法從不使用磁盤溢出，以便提高性能。選擇“內存”可指示算法在合適的時候，以犧牲某些速度為代價使用磁盤溢出。

接下來，進入“專家”選項卡，對于一般用戶，則選擇“簡單”選項；而對于高級用戶，則可以通過此頁面進行微調，如下圖所示。

圖 13. 專家選項卡設置

關于“專家”選項的設置和介紹，請參見 IBM SPSS Modeler 幫助文檔。

此時，我們已經創建好了關聯規則模型的整個流，點擊工具欄的綠色箭頭，運行該流，會生成一個“模型”節點，該節點里包含了模型運行結果。整個運行后的流圖，如下圖所示。

圖 14. 關聯規則模型流圖

第六步，在得到了運行結果后，我們雙擊打開生成的“模型”節點，點擊“顯示 / 隱藏標準菜單”下拉框，選擇“顯示所有”，結果如下圖所示。

圖 15. 模型節點信息

從結果可以看出，通過關聯規則模型挖掘出了三個規則，分別是規則一，購買了凍肉（frozenmeal）和罐裝蔬菜（cannedveg）的顧客都會購買啤酒（beer）；規則二，購買了凍肉的顧客都會購買啤酒；規則三，購買了罐裝蔬菜的顧客都會購買啤酒。其中，第一列代表結果，而下一列代表條件，后面的列包含規則信息，如置信度、支持度和提升等。

市場分析員對于模型結果的三條規則和規則信息，如何分析得出結論呢？首先分析第一條規則，購買了凍肉和罐裝蔬菜的顧客會購買啤酒，此規則中購買了凍肉和罐裝蔬菜的記錄有 173 條，占 17.3%，同時購買了凍肉、罐裝蔬菜和啤酒的記錄占 14.6%，而在購買了凍肉和罐裝蔬菜的顧客中會有 84.393% 的顧客會購買啤酒，并且提升為 2.88，表明此規則的相關性很強，部署能力和置信度類似，可以不考慮。對于規則二三，可以同樣分析。問題的關鍵是，哪些規則信息才能作為評判標準。通過對規則信息的分析和了解，建議將置信度和提升作為選擇規則的標準，因為置信度能反映出規則預測的準確程度，提升值越大，規則的相關性越強。據此，可以將規則一作為分析結果。

因此可以將啤酒和凍肉、罐裝蔬菜放在一起銷售，這也正好和前面的網絡節點圖的顯示相一致。

總結

本文通過一個實際的商業場景，引入了 IBM SPSS Modeler 關聯規則模型，首先給出了關聯規則的相關概念，接著帶領您一步一步的創建了數據流，并且介紹了模型的建立和設置，并且對結果進行了分析。您可以將本模型應用到其他的場景中，如網絡日志分析、銀行潛在客戶分析、電子商務的捆綁銷售等。