數據挖掘語言及其標準化研究進展

 數據挖掘包含范圍廣泛的任務，從數據描述到挖掘關聯規則、數據分類和演化分析，所以，設計一個全面的數據挖掘語言是富有挑戰性的，因為每個任務有不同的要求。一個設計有效的數據挖掘查詢語言需要具有對不同種類數據挖掘任務的能力、限制和根本機制的深入理解。定義一個數據挖掘查詢形式的數據挖掘任務的過程如下：選擇要挖掘的與任務相關的數據和要挖掘的知識類型、在挖掘過程中需要的背景知識、對模式評估的衡量標準和閾值、可視化發現模式的預期表現、數據增長的動態性；以及特殊的挖掘任務比如有針對性的項目集挖掘，流數據挖掘，分布式和分區數據挖掘。

1 數據挖掘語言

數據挖掘語言根據功能和不同的側重點可以分為3種：數據挖掘查詢語言、數據挖掘建模語言、通用數據挖掘語言。

1.1 數據挖掘查詢語言

每個用戶的數據挖掘任務都不盡相同，一個數據挖掘任務可以用一個數據挖掘查詢指定，查詢作為數據挖掘系統的輸入，數據挖掘查詢用以下原語形式定義。

（1）任務相關數據。

（2）要挖掘的知識種類。

（3）背景知識。

（4）興趣度的度量。

（5）獲取模式的可視化表示。

（6）數據維護。

（7）特殊類型的挖掘。

1.2 數據挖掘建模語言

數據挖掘建模語言是對數據挖掘進行定義和描述的語言，為了使不同系統之間共享模型而不是以往的孤立形式，需要開發出一種標準的建模語言，使數據挖掘系統在模型定義和描述方面都遵循它，同樣，為了解決無法發現孤立知識的問題，也可以在其他應用系統中嵌入數據挖掘模型，目前主流的數據挖掘建模語言包括PMML（Predictive Model Markup Language）與CWM（Common Warehouse Metamodel）兩種。

1.2.1 PMML

PMML是一種基于XML的定義預言模型的語言，允許應用程序和OLAP工具可以不用獨立開發數據挖掘模塊，直接從數據挖掘系統中獲得模型：此外，PMML還可以收集使用大量的潛在模型，并統一管理各種模型集合。

PMML對那些需要分布式學習、全部學習和部分學習的應用程序特別有效，因為它提供了一個靈活的機制來定義預言模型的模式，并同時支持涉及多個預言模型的模型選擇和模型平衡，此外，在它的支持下，不同應用程序和系統之間可以很便捷地移動預言模型。

使用PMML進行模型定義包括以下幾部分：（1）頭文件；（2）數據模式；（3）數據挖掘模式；（4）預言模型模式；（5）預言模型定義；（6）全體模型定義；（7）選擇和聯合模型及全體模型的規則；（8）異常處理的規則。

其中預言模型定義是必備的，此外必須定義預言模型的模式。PMML標準版提供了一個文檔類型定義集合（DTD）來詳細說明決策樹和多項式回歸模型的實體與屬性。使用標準的XML解析器對PMML進行解析，應用程序可以決定模型的詳細格式、輸入輸出的數據類型、并且使用標準的數據挖掘術語解釋模型結果。并且，使用PMML可以使挖掘模型與應用平臺和操作系統無關，無需關心模型的創建過程。

1.2.2 CWM（Common Warehouse Metamodel）

公共倉庫元模型CWM由OMG（Object Management Group，對象管理組織）制定，其主要目的是在異構環境下輔助不同平臺、不同的數據倉庫工具和元數據知識庫進行元數據交換，CWM模型包括元數據（技術類與商業類）存儲與元數據交換。

CWM標準定義了數據倉庫和商業智能工具之間共享元數據的語法規范，包括4個方面：描述數據倉庫系統的CWM元模型，CWM元模型的XML表示，數據倉庫和商業智能工具共享元數據的DTD交換格式，以及數據倉庫和商業智能工具共享元數據的API（應用程序接口）。

CWM元模型規范由以下5個包組成，分別定義了各領域的元模型：

（1）對象模型包，是構造和描述其他包中元模型類的基礎，是UML的子集。

（2）基礎包，包括表示CWM概念和結構的各種模型元素，可被其他CWM包共享。

（3）資源包，用于描述數據資源，包括關系數據資源、XML數據資源、記錄式數據資源以及多維數據資源。

（4）分析包，包括數據轉換、OLAP、數據挖掘、信息可視化和商業術語五個子包。

（5）管理包，用于描述數據倉庫管理，包含兩個子包：數據倉庫過程、數據倉庫操作。

1.3 通用數據挖掘語言

數據挖掘建模語言一定程度上解決了目前數據挖掘系統的一些問題，但是也有缺點，比如沒有將模型與數據真正地分離、需要進行大量的數據轉換才能建模、沒有被所有的數據挖掘軟件商采用等等。因此，有必要開發出一種更為通用的數據挖掘語言。通用數據挖掘語言合并了上述兩者的特點，它可以定義模型，也可以作為查詢語言與數據挖掘系統進行通信，進行特殊的交互式的挖掘。

微軟推出的一款數據挖掘語言，命名為OLE DB for DM，是OLE DB的一個擴展，制定這一規范的目的是使來自不同數據挖掘軟件商的數據挖掘算法輕松地嵌入到用戶應用程序中。

OLE DB for DM定義了一些重要的新概念和特點，以填補傳統的數據挖掘技術和目前關系數據庫管理系統之間的空白，包括以下幾點：

（1）數據挖掘模型DMM（Data Mining Model），DMM類似于一個關系表，但是包含一些特殊列，由數據挖掘中的數據訓練和預言制定使用，DMM既可以用來創建預言模型，又可以產生預言，DMM存儲被數據挖掘算法發現的模式，這點與標準的關系表中存儲原始數據不同，其所有結構與內容都可以用XML字符串表示。

（2）預言聯接操作（Predication Join Operation），與SQL語法中的聯接操作類似，通過映射一個在訓練好的數據挖掘模型和設計的輸人數據源之間聯接查詢，使開發人員較容易地得到確切符合商業需求的自定義預言結果。

（3）OLE DB for DM模式行集合（Schema Rowsets），這些特殊目的的模式行集合允許使用者發現諸如可用的挖掘服務、挖掘模型、挖掘列模型等臨界信息內容，數據挖掘提供者在模型創建和訓練階段裝入模式行集合。

2 分析與評價

數據挖掘查詢語言與數據挖掘系統進行通信，提供獨立于應用的操作原語，進行交互和特殊的挖掘，但是，由于各查詢語言目前沒有形成統一標準，因此并沒有實質性解決數據挖掘系統之間相互孤立的問題。

PMML提供了一個簡單開放的框架以處理和交換預言模型，使用戶可以更迅速地使用挖掘出的信息，更容易實現商業智能。PMML使用戶可以將模型與應用程序分離，即在一個應用程序中開發模型，而在其他應用程序中進行模型的可視化、分析、估值等操作、或以其他方式使用模型，從而使在不同模型之間無縫交換模型成為可能，解決了上文提到的系統彼此孤立的問題。但PMML還不能算是一種完整的數據挖掘模型定義語言，而只是預言模型標記語言，因為它不包括預言模型和描述模型。

3 結語

介紹了數據挖掘語言及其標準化方面的研究進展，對目前較為流行的幾種數據挖掘語言的特點進行了分析比較，可以看出，數據挖掘語言發展的必然趨勢是標準化方向，但也需要一定的理論基礎支持，比如基于高階邏輯和Rough Set理論的數據挖掘問題的分類描述理論，正如SQL語言的創立是因為有關系代數理論的支持一樣。