使用R并行方式對數值型數據離散化

數據的特征按照其取值可以分為連續型和離散型。離散數值屬性在數據挖掘的過程中具有重要的作用。比如在信用卡評分模型中，當自變量很多時，并非所有字段對于目標字段來說都是有效的，因此通常的做法是通過計算woe值和iv值(類似于信息增益)來初步挑選通過對目標變量重要的字段，然后建模邏輯回歸模型。而這當中就需要對數值型數據離散化。

數值型數據離散化通常分為有監督離散化和無監督離散化?？紤]到數據建模通常是建立目標字段和其影響因素之間的關系的量化，因此會選擇有監督離散化。

R語言中用于數值型數據離散化的包discretization。安裝和加載如下：

>install.packages("discretization") >library(discretization)

以R自帶數據集iris為例，以”Species” 為目標字段，對”Sepal.Length”、”Sepal.Width”、”Petal.Length” 、”Petal.Width” 四個數值型屬性離散化。

 >lisan_result <- mdlp(iris)
 >class(lisan_result)
   [1] “list”
 >names(lisan_result)
   [1] “cutp” “Disc.data”

使用mdlp()方法對iris離散化，該方法默認數據框最后一列最后為目標字段。返回結果為列表?！眂utp”為各列的分割點向量?！盌isc.data”為離散化后的數據框。

該方法對于較小的樣本量和維度時，程序運行時間還可以接受。但隨著數據量的增大，數據維度的增加，程序運行時間會越來越長。因此考慮采用并行的方式對數據進行離散化。介紹R用于離散化的包parallel。

 >install.packages(“parallel”)
 >library(parallel)
 >cores <- detectCores() ##查看本機虛擬核心數
 > cores
    [1] 4

現在考慮以并行的方式實現離散化方法?？紤]設計思路如下：

1.將字段10個為一組分別與目標字段組合成數據框，(不足10個時以實際數量字段與目標字段組合)存放在一個列表中。列表的元素即離散字段與目標字段構成的數據框。

2.啟動M個附屬進程，并初始化。M<=本機虛擬核心數。使用parLapply()作用于步驟1中建立的列表數據。此時既有M個附屬進程對數據進行離散化。

3.將步驟2中的離散化結果合并。

4.將上述步驟封裝成函數。整理后使得返回結果與mdlp()函數一致。這樣方便調用。

將上述設計思路寫成R代碼，如下：輸入離散數據、使用核心數，返回結果與使用mdlp()函數相同

parallel_lisan <- function(lisan_data,cores_num){

   library(parallel)
   library(discretization

    res <- list()
   lisan_data_v <- list()
   cut_point <- list()
   Disc.data <- data.frame(c(rep(NA,nrow(lisan_data))))

   name_num = ncol(lisan_data)-1    ##將原始數據分割成多列，先考慮每組10列。不足的單獨分為一組。
   group_num = floor(name_num/10)
   last_group_num = name_num%%10

   if( name_num > 10{       ##當原始數據列數多余10列
         for(i in 1:group_num){
               lw_flag <- lisan_data[,ncol(lisan_data)]
                lisan_data_v[[i]] <- cbind(lisan_data[,(10*i-9):>   (10*i)],lw_flag)
               }
   lisan_data_v[[group_num+1]] <- lisan_data[,         (10*group_num+1):ncol(lisan_data)]
        }else{
       lisan_data_v[[group_num+1]] <- lisan_data[,(10*group_num+1):ncol(lisan_data)]
}

    cl <- makeCluster(cores_num)     ##初始化核心
    results <- parLapply(cl,lisan_data_v,mdlp)     ##對列表數據使用mdlp函數并行離散化
    for(i in 1:length(results)){
        for(j in 1:length(results[[i]][[1]])){
            cut_point[[(i-1)*10+j]] <- results[[i]][[1]][[j]]
                  }
         temp <- as.data.frame(results[[i]][[2]])
         Disc.data <- cbind(Disc.data,temp[,1:(ncol(temp)-1)])         ##合并離散數據結果
   }

         Disc.data <- Disc.data[,2:ncol(Disc.data)]
         Disc.data$lw_flag <- lisan_data[,ncol(lisan_data)]
         names(Disc.data) <- names(lisan_data)
         stopCluster(cl)
         res[[“cutp”]] <- cut_point
         res[[“Disc.data”]] <- Disc.data

      return(res)
}