Python實現的隨機森林算法與簡單總結-CDA數據分析師官網

熱線電話：13121318867

登錄

首頁精彩閱讀Python實現的隨機森林算法與簡單總結

Python實現的隨機森林算法與簡單總結

2018-02-15

收藏

Python實現的隨機森林算法與簡單總結

本文實例講述了Python實現的隨機森林算法。分享給大家供大家參考，具體如下：

隨機森林是數據挖掘中非常常用的分類預測算法，以分類或回歸的決策樹為基分類器。算法的一些基本要點：

*對大小為m的數據集進行樣本量同樣為m的有放回抽樣；
*對K個特征進行隨機抽樣，形成特征的子集，樣本量的確定方法可以有平方根、自然對數等；
*每棵樹完全生成，不進行剪枝；
*每個樣本的預測結果由每棵樹的預測投票生成（回歸的時候，即各棵樹的葉節點的平均）

出于個人研究和測試的目的，基于經典的Kaggle 101泰坦尼克號乘客的數據集，建立模型并進行評估。

泰坦尼克號的沉沒，是歷史上非常著名的海難。突然感到，自己面對的不再是冷冰冰的數據，而是用數據挖掘的方法，去研究具體的歷史問題，也是饒有興趣。言歸正傳，模型的主要的目標，是希望根據每個乘客的一系列特征，如性別、年齡、艙位、上船地點等，對其是否能生還進行預測，是非常典型的二分類預測問題。數據集的字段名及實例如下：

值得說明的是，SibSp是指sister brother spouse，即某個乘客隨行的兄弟姐妹、丈夫、妻子的人數，Parch指parents,children

下面給出整個數據處理及建模過程，基于ubuntu+python 3.4（ anaconda科學計算環境已經集成一系列常用包，pandas numpy sklearn等，這里強烈推薦）

懶得切換輸入法，寫的時候主要的注釋都是英文，中文的注釋是后來補充的:-)

# -*- coding: utf-8 -*-

"""

@author: kim

"""

frommodelimport*＃載入基分類器的代碼

#ETL:same procedure to training set and test set

training=pd.read_csv('train.csv',index_col=0)

test=pd.read_csv('test.csv',index_col=0)

SexCode=pd.DataFrame([1,0],index=['female','male'],columns=['Sexcode']) ＃將性別轉化為０１

training=training.join(SexCode,how='left',on=training.Sex)

training=training.drop(['Name','Ticket','Embarked','Cabin','Sex'],axis=1)＃刪去幾個不參與建模的變量，包括姓名、船票號，船艙號

test=test.join(SexCode,how='left',on=test.Sex)

test=test.drop(['Name','Ticket','Embarked','Cabin','Sex'],axis=1)

print('ETL IS DONE!')

#MODEL FITTING

#===============PARAMETER AJUSTMENT============

min_leaf=1

min_dec_gini=0.0001

n_trees=5

n_fea=int(math.sqrt(len(training.columns)-1))

#==============================================

'''''

BEST SCORE:0.83

min_leaf=30

min_dec_gini=0.001

n_trees=20

'''

#ESSEMBLE BY RANDOM FOREST

FOREST={}

tmp=list(training.columns)

tmp.pop(tmp.index('Survived'))

feaList=pd.Series(tmp)

fortinrange(n_trees):

# fea=[]

feasample=feaList.sample(n=n_fea,replace=False)#select feature

fea=feasample.tolist()

fea.append('Survived')

# feaNew=fea.append(target)

subset=training.sample(n=len(training),replace=True)#generate the dataset with replacement

subset=subset[fea]

# print(str(t)+' Classifier built on feature:')

# print(list(fea))

FOREST[t]=tree_grow(subset,'Survived',min_leaf,min_dec_gini)#save the tree

#MODEL PREDICTION

#======================

currentdata=training

output='submission_rf_20151116_30_0.001_20'

#======================

prediction={}

forrincurrentdata.index:#a row

prediction_vote={1:0,0:0}

row=currentdata.get(currentdata.index==r)

forninrange(n_trees):

tree_dict=FOREST[n]#a tree

p=model_prediction(tree_dict,row)

prediction_vote[p]+=1

vote=pd.Series(prediction_vote)

prediction[r]=list(vote.order(ascending=False).index)[0]#the vote result

result=pd.Series(prediction,name='Survived_p')

#del prediction_vote

#del prediction

#result.to_csv(output)

t=training.join(result,how='left')

accuracy=round(len(t[t['Survived']==t['Survived_p']])/len(t),5)

print(accuracy)

上述是隨機森林的代碼，如上所述，隨機森林是一系列決策樹的組合，決策樹每次分裂，用Gini系數衡量當前節點的“不純凈度”，如果按照某個特征的某個分裂點對數據集劃分后，能夠讓數據集的Gini下降最多（顯著地減少了數據集輸出變量的不純度），則選為當前最佳的分割特征及分割點。代碼如下：

# -*- coding: utf-8 -*-

"""

@author: kim

"""

importpandas as pd

importnumpy as np

#import sklearn as sk

importmath

deftree_grow(dataframe,target,min_leaf,min_dec_gini):

tree={}#renew a tree

is_not_leaf=(len(dataframe)>min_leaf)

ifis_not_leaf:

fea,sp,gd=best_split_col(dataframe,target)

ifgd>min_dec_gini:

tree['fea']=fea

tree['val']=sp

# dataframe.drop(fea,axis=1) #1116 modified

l,r=dataSplit(dataframe,fea,sp)

l.drop(fea,axis=1)

r.drop(fea,axis=1)

tree['left']=tree_grow(l,target,min_leaf,min_dec_gini)

tree['right']=tree_grow(r,target,min_leaf,min_dec_gini)

else:#return a leaf

returnleaf(dataframe[target])

else:

returnleaf(dataframe[target])

returntree

defleaf(class_lable):

tmp={}

foriinclass_lable:

ifiintmp:

tmp[i]+=1

else:

tmp[i]=1

s=pd.Series(tmp)

s.sort(ascending=False)

returns.index[0]

defgini_cal(class_lable):

p_1=sum(class_lable)/len(class_lable)

p_0=1-p_1

gini=1-(pow(p_0,2)+pow(p_1,2))

returngini

defdataSplit(dataframe,split_fea,split_val):

left_node=dataframe[dataframe[split_fea]<=split_val]

right_node=dataframe[dataframe[split_fea]>split_val]

returnleft_node,right_node

defbest_split_col(dataframe,target_name):

best_fea=''#modified 1116

best_split_point=0

col_list=list(dataframe.columns)

col_list.remove(target_name)

gini_0=gini_cal(dataframe[target_name])

n=len(dataframe)

gini_dec=-99999999

forcolincol_list:

node=dataframe[[col,target_name]]

unique=node.groupby(col).count().index

forsplit_pointinunique:#unique value

left_node,right_node=dataSplit(node,col,split_point)

iflen(left_node)>0andlen(right_node)>0:

gini_col=gini_cal(left_node[target_name])*(len(left_node)/n)+gini_cal(right_node[target_name])*(len(right_node)/n)

if(gini_0-gini_col)>gini_dec:

gini_dec=gini_0-gini_col#decrease of impurity

best_fea=col

best_split_point=split_point

#print(col,split_point,gini_0-gini_col)

returnbest_fea,best_split_point,gini_dec

defmodel_prediction(model,row):#row is a df

fea=model['fea']

val=model['val']

left=model['left']

right=model['right']

ifrow[fea].tolist()[0]<=val:#get the value

branch=left

else:

branch=right

if('dict'instr(type(branch) )):

prediction=model_prediction(branch,row)

else:

prediction=branch

returnprediction

實際上，上面的代碼還有很大的效率提升的空間，數據集不是很大的情況下，如果選擇一個較大的輸入參數，例如生成100棵樹，就會顯著地變慢；同時，將預測結果提交至kaggle進行評測，發現在測試集上的正確率不是很高，比使用sklearn里面相應的包進行預測的正確率（0.77512）要稍低一點 :-( 如果要提升準確率，兩個大方向：構造新的特征；調整現有模型的參數。

這里是拋磚引玉，歡迎大家對我的建模思路和算法的實現方法提出修改意見。

CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>> “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

特征隨機森林 Series 決策樹 ETL numpy pandas 數據挖掘

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇回歸系列（一）| 怎樣正確地理解線性回歸

下一篇2020美國總統競選大戲開鑼，川普當選的奇跡會再發生嗎？

數據分析師考試動態

考試介紹
考試大綱
考試內容
考試地點

CDA報考指南

報考流程
考試時間
報名費用
聯系我們

數據分析學習

數據分析師資訊

更多

Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有京ICP備11001960號-9

京公網安備 11010802034615號經營許可證編號：京B2-20210330

聯系電話：13321103290 (微信同號)

OK

免費資料
免費試聽
訂制課程
職業規劃
認證考試

客服在線

日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码

客服在線

立即咨詢

免密碼登錄

提交首次登錄驗證后自動注冊