時 程

大綱內容

第1天

主題：顧客關系管理及基礎數據挖掘技術

企業使用之范圍：

說明企業如何利用顧客關系管理來進行營銷活動

理論介紹：

顧客關系管理系統的架構及其組成元素

企業如何利用顧客關系管理系統來進行營銷活動

數據挖掘技術的功能分類

數據挖掘技術的績效增益

數據挖掘技術的產業標準

數據挖掘基本觀念與實際應用解說

SAS EM & SPSS Modeler實務案例操作：

Introduction to SAS Enterprise Miner(SAS EM) & IBM SPSS Modeler

Getting Started with SAS EM 12.1 & IBM SPSS Modeler 16

Creating a EM Project, Library and Diagram

Creating a SPSS Modeler Project

第1天

第2天

主題：基礎數據挖掘技術

企業使用之范圍：

說明企業如何利用數據前處理技術來進行數據的重整，建置數據倉庫，以做為數據挖掘之輸入

理論介紹：

數據挖掘技術的流程-SEMMA vs. CRISP DM

數據前處理(Data Preprocessing)技術

Attribute Selection(字段選擇)

*Data Integration(數據整合)

Data Cleansing(數據清洗):

*Wrong Value(錯誤值),

*Outlier(離群值),

*Missing Value(遺失值)

Attribute Enrichment(字段擴充):

*內/外部數據的擴充方法

Data Coding(數據編碼):

*Data Transformation(數據轉換),

*Data Reduction(數據精簡),

*Record Reduction(記錄精簡),

*Attribute Value Reduction(域值精簡),

*Attribute Reduction(字段精簡)

SAS EM & SPSS Modeler實務案例操作：

Defining a Data Source

Exploring a Data Source

  * Exploring Source Data

  * Changing the Explore Window Sampling Defaults

  * Modifying and Correcting Source Data

Managing Wrong Values/Outliers/Missing Values

Transforming Inputs

Recording Categorical Inputs

第2天

第3天

主題：進階數據挖掘技術

企業使用之范圍：

說明企業如何利用關鍵變量發掘技術來發掘對項目目標有效之關鍵變量，以做為數據挖掘之輸入變量

理論介紹：

訓練數據與測試數據的產生方法

關鍵變量(Key Attributes)發掘技術

*卡方檢定(Chi-square Test)

*t檢定及ANOVA檢定(t Test & ANOVA Test)

*利用決策樹(Decision Tree)選擇關鍵變量

SAS EM & SPSS Modeler實務案例操作：

Creating Training & Validation Dataset

Variable Selection

Using Partial Least Squares for Input Selection

Using the Decision Tree for Input Selection

第3天

主題：進階數據挖掘技術2

企業使用之范圍：

說明如何利用分類技術之決策樹來建立交叉銷售(Cross-Selling)模型，以提升公司獲利

理論介紹：

分類之決策樹(Decision Tree)

SAS EM & SPSS Modeler實務案例操作：

Constructing a Decision Tree Model

Optimizing the Complexity of Decision Trees

Assessing a Decision Tree

Understanding Additional Plots & Tables

Automatic Tree Growth

第3天

主題：進階數據挖掘技術3

企業使用之范圍：

說明企業如何利用分類技術之神經網絡、支持向量機及分類多模型整合來建立信用評分(Credit Scoring)模型，以降低公司損失

理論介紹：

分類之神經網絡(Neural Network)

分類之支持向量機(Support Vector Machine)

分類多模型整合(Ensemble)之裝袋(Bagging)、增強(Boosting)學習

SAS EM &SPSS Modeler實務案例操作：

Training a Neural Network

Selecting Neural Network Inputs

Increasing Network Flexibility

Using the AutoNeural Tool

Constructing a Support Vector Machine

Constructing Ensemble Models by Using Bagging and Boosting Techniques

Model Comparisons

第4天

主題：進階數據挖掘技術4

企業使用之范圍：

說明企業如何利用模型評估技術來評估模型的優劣，以作為采用適當模型的準則

理論介紹：

模型評估(Model Assessment)技術

SAS EM & SPSS Modeler實務案例操作：

Model Fit Statistics:

* Comparing Models with Summary Statistics

Statistical Graph:

* Comparing Models with ROC Charts

* Comparing Models with Score Rankings Plots

* Adjusting for Separate Sampling

Profit Matrix:

* Evaluating Model Profit

* Viewing Additional Assessments

* Optimizing with Profit

Internally Scored Data Sets:

  * Creating a Score Data Source

  * Scoring with the Score Tool

  * Exporting a Scored Table

Score Code Modules:

  * Creating a SAS Score Code Module

  * Creating Other Score Code Modules

第4天

主題：進階數據挖掘技術5

企業使用之范圍：

說明企業如何利用預測(Prediction)技術之回歸樹及類神經網絡來建立數值預測模型-如預測客戶之年收入，以利公司設計營銷活動

理論介紹：

回歸樹(Regression Tree)

類神經網絡(Neural Network)-非線性回歸

SAS EM & SPSS Modeler實務案例操作：

Review and Set the Decision Tree Node

Review and Set the Neural Network Node

第4天

主題：進階數據挖掘技術6

企業使用之范圍：

說明企業如何利用關聯及序列分析技術來建立交叉銷售(Cross-Selling)及提升銷售(Up-Selling)模型，以提升公司獲利

理論介紹：

關聯分析(Association Analysis)

序列分析(Sequence Analysis)

SAS EM & SPSS Modeler案例案例操作：

Consolidating Categorical Inputs

Market Basket Analysis

Sequence Analysis

第5天

環境搭建與數據轉換

主體：數據分析環境搭建

1、Python程序安裝

2、MySQL數據庫安裝、配置、建庫；

主題：Python與其它軟件之間數據轉換

1、Python內部的數據存儲類型

2、Python與CSV格式文件；

3、Python與EXCEL格式文件；

4、Python與MySQL；

5、Python與ODBC；

主題：SQL編程與MySQL數據庫使用

Mysql SQL編程與Python SQL編程

主題：用R作統計

兩變量相關檢驗（兩樣本T檢驗、方差分析、卡方檢驗、相關檢驗）；

主成分與因子分析；

決策樹

數據挖據完整流程案例

——Python編程構造銀行信用風險模型

第6天

主題：信用風險建模簡介

銀行信用風險監管體系與信用風險內部模型

主題：單變量檢驗與數據清洗

缺失值檢驗與處理方法

異常值檢驗與處理方法

解釋變量粗篩

雙變量關系檢驗法

數據分箱

主題：連續變量壓縮技術

變量聚類

分類變量壓縮技術

似完整分類數據問題

WOE方法

主題：邏輯回歸建模技術

模型選擇：逐步法、全子集法

根據經驗Logit曲線進行連續變量轉換

主題：編程模型評估技術

ROC曲線

K-S曲線