作者 | CDA數據分析師
像Keras中的機器學習和深度學習模型一樣，要求所有輸入和輸出變量均為數字。
這意味著，如果你的數據包含分類數據，則必須先將其編碼為數字，然后才能擬合和評估模型。
兩種最流行的技術是整數編碼和一種熱編碼，盡管一種稱為學習嵌入的較新技術可能在這兩種方法之間提供了有用的中間立場。
在本教程中，您將發現在Keras中開發神經網絡模型時如何編碼分類數據。
完成本教程后，您將知道：
讓我們開始吧。
本教程分為五個部分。分別是：
類別變量是其值采用標簽值的變量。
例如，變量可以是“ color ”，并且可以取值“ red ”，“ green ”和“ blue”。
有時，分類數據可能在類別之間具有排序的關系，例如“ 第一 ”，“ 第二 ”和“ 第三”。這種類型的分類數據稱為序數，并且其他排序信息可能很有用。
這意味著必須先將分類數據編碼為數字，然后才能使用它來擬合和評估模型。
有多種編碼分類變量以進行建模的方法，盡管最常見的三種方法如下：
我們將仔細研究如何使用以下每種方法對分類數據進行編碼，以在Keras中訓練深度學習神經網絡。
作為本教程的基礎，我們將使用自1980年代以來在機器學習中廣泛研究的所謂“ 乳腺癌 ”數據集。
該數據集將乳腺癌患者數據分類為癌癥復發或無復發。有286個示例和9個輸入變量。這是一個二進制分類問題。
該數據集上合理的分類準確性得分在68％到73％之間。我們將針對該區域，但請注意，本教程中的模型并未經過優化：它們旨在演示編碼方案。
查看數據，我們可以看到所有九個輸入變量都是分類的。
具體來說，所有變量都用引號引起來；有些是序數，有些不是。
'40-49','premeno','15-19','0-2','yes','3','right','left_up','no','recurrence-events' '50-59','ge40','15-19','0-2','no','1','right','central','no','no-recurrence-events' '50-59','ge40','35-39','0-2','no','2','left','left_low','no','recurrence-events' '40-49','premeno','35-39','0-2','yes','3','right','left_low','yes','no-recurrence-events' '40-49','premeno','30-34','3-5','yes','2','left','right_up','no','recurrence-events'
我們可以使用Pandas庫將該數據集加載到內存中。
# load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values
加載后，我們可以將列分為輸入（X）和輸出（y）進行建模。
# split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1]
最后，我們可以將輸入數據中的所有字段都強制為字符串，以防萬一熊貓試圖將某些字段自動映射為數字（確實如此）。
我們還可以將輸出變量整形為一列（例如2D形狀）。
# format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1))
我們可以將所有這些結合到一個有用的功能中，以備后用。
# load the dataset def load_dataset(filename): # load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values # split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1] # format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1)) return X, y
加載后，我們可以將數據分為訓練集和測試集，以便我們可以擬合和評估深度學習模型。
我們將使用scikit-learn中的train_test_split（）函數，并將67％的數據用于訓練，將33％的數據用于測試。
# load the dataset X, y = load_dataset('breast-cancer.csv') # split into train and test sets X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1)
將所有這些元素結合在一起，下面列出了加載，拆分和匯總原始分類數據集的完整示例。
# load and summarize the dataset from pandas import read_csv from sklearn.model_selection import train_test_split # load the dataset def load_dataset(filename): # load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values # split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1] # format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1)) return X, y # load the dataset X, y = load_dataset('breast-cancer.csv') # split into train and test sets X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1) # summarize print('Train', X_train.shape, y_train.shape) print('Test', X_test.shape, y_test.shape)
運行示例將報告訓練和測試集的輸入和輸出元素的大小。
我們可以看到，我們有191個示例用于培訓，而95個用于測試。
Train (191, 9) (191, 1) Test (95, 9) (95, 1)
既然我們已經熟悉了數據集，那么讓我們看一下如何對它進行編碼以進行建模。
順序編碼涉及將每個唯一標簽映射到整數值。
這樣，有時將其簡稱為整數編碼。
這種類型的編碼實際上僅在類別之間存在已知關系時才適用。
數據集中的某些變量確實存在這種關系，理想情況下，在準備數據時應利用此關系。
在這種情況下，我們將忽略任何可能存在的序數關系，并假定所有變量都是類別變量。至少將序數編碼用作其他編碼方案的參考點仍然會有所幫助。
我們可以使用scikit-learn的scikit-learn將每個變量編碼為整數。這是一個靈活的類，并且允許將類別的順序指定為參數（如果已知這樣的順序）。
注意：我將作為練習來更新以下示例，以嘗試為具有自然順序的變量指定順序，并查看其是否對模型性能產生影響。
對變量進行編碼的最佳實踐是使編碼適合訓練數據集，然后將其應用于訓練和測試數據集。
下面的函數prepare_inputs（），獲取訓練和測試集的輸入數據，并使用序數編碼對其進行編碼。
# prepare input data def prepare_inputs(X_train, X_test): oe = OrdinalEncoder() oe.fit(X_train) X_train_enc = oe.transform(X_train) X_test_enc = oe.transform(X_test) return X_train_enc, X_test_enc
我們還需要準備目標變量。
這是一個二進制分類問題，因此我們需要將兩個類標簽映射到0和1。
這是一種序數編碼，scikit-learn提供了為此專門設計的LabelEncoder類。盡管LabelEncoder設計用于編碼單個變量，但我們可以輕松使用OrdinalEncoder并獲得相同的結果。
在（）prepare_targets整數編碼的訓練集和測試集的輸出數據。
# prepare target def prepare_targets(y_train, y_test): le = LabelEncoder() le.fit(y_train) y_train_enc = le.transform(y_train) y_test_enc = le.transform(y_test) return y_train_enc, y_test_enc
我們可以調用這些函數來準備我們的數據。
# prepare input data X_train_enc, X_test_enc = prepare_inputs(X_train, X_test) # prepare output data y_train_enc, y_test_enc = prepare_targets(y_train, y_test)
現在我們可以定義一個神經網絡模型。
在所有這些示例中，我們將使用相同的通用模型。具體來說，是一種多層感知器（MLP）神經網絡，其中的一個隱藏層具有10個節點，而輸出層中的一個節點用于進行二進制分類。
無需贅述，下面的代碼定義了模型，將其擬合在訓練數據集上，然后在測試數據集上對其進行了評估。
# define the model model = Sequential() model.add(Dense(10, input_dim=X_train_enc.shape[1], activation='relu', kernel_initializer='he_normal')) model.add(Dense(1, activation='sigmoid')) # compile the keras model model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # fit the keras model on the dataset model.fit(X_train_enc, y_train_enc, epochs=100, batch_size=16, verbose=2) # evaluate the keras model _, accuracy = model.evaluate(X_test_enc, y_test_enc, verbose=0) print('Accuracy: %.2f' % (accuracy*100))
綜合所有這些，下面列出了使用序數編碼準備數據并擬合和評估數據上的神經網絡的完整示例。
# example of ordinal encoding for a neural network from pandas import read_csv from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder from sklearn.preprocessing import OrdinalEncoder from keras.models import Sequential from keras.layers import Dense # load the dataset def load_dataset(filename): # load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values # split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1] # format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1)) return X, y # prepare input data def prepare_inputs(X_train, X_test): oe = OrdinalEncoder() oe.fit(X_train) X_train_enc = oe.transform(X_train) X_test_enc = oe.transform(X_test) return X_train_enc, X_test_enc # prepare target def prepare_targets(y_train, y_test): le = LabelEncoder() le.fit(y_train) y_train_enc = le.transform(y_train) y_test_enc = le.transform(y_test) return y_train_enc, y_test_enc # load the dataset X, y = load_dataset('breast-cancer.csv') # split into train and test sets X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1) # prepare input data X_train_enc, X_test_enc = prepare_inputs(X_train, X_test) # prepare output data y_train_enc, y_test_enc = prepare_targets(y_train, y_test) # define the model model = Sequential() model.add(Dense(10, input_dim=X_train_enc.shape[1], activation='relu', kernel_initializer='he_normal')) model.add(Dense(1, activation='sigmoid')) # compile the keras model model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # fit the keras model on the dataset model.fit(X_train_enc, y_train_enc, epochs=100, batch_size=16, verbose=2) # evaluate the keras model _, accuracy = model.evaluate(X_test_enc, y_test_enc, verbose=0) print('Accuracy: %.2f' % (accuracy*100))
在任何現代硬件（無需GPU）上運行示例，只需幾秒鐘即可使模型適應模型。
在每個訓練時期結束時報告模型的損失和準確性，最后報告測試數據集上模型的準確性。
鑒于學習算法的隨機性，您的具體結果會有所不同。嘗試運行該示例幾次。
在這種情況下，我們可以看到該模型在測試數據集上達到了約70％的精度。
不錯，因為只有某些輸入變量存在序數關系，對于某些輸入變量才存在序數關系，因此在編碼中不遵循序數關系。
... Epoch 95/100 - 0s - loss: 0.5349 - acc: 0.7696 Epoch 96/100 - 0s - loss: 0.5330 - acc: 0.7539 Epoch 97/100 - 0s - loss: 0.5316 - acc: 0.7592 Epoch 98/100 - 0s - loss: 0.5302 - acc: 0.7696 Epoch 99/100 - 0s - loss: 0.5291 - acc: 0.7644 Epoch 100/
數據分析咨詢請掃描二維碼
若不方便掃碼，搜微信號：CDAshujufenxi
CDA數據分析師證書考試體系（更新于2025年05月22日）
2025-05-26解碼數據基因：從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化，你是否會聯想到背后的銷售數據波動？三年前在零售行 ...
2025-05-23在本文中，我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生：我的第一個分析項目 記得三年前接手第一個數據分析項目時，我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代，企業每天都在產生海量數據：用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖，而相 ...
2025-05-19在當今數字化營銷時代，小紅書作為國內領先的社交電商平臺，其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析， ...
2025-05-16Excel作為最常用的數據分析工具，有沒有什么工具可以幫助我們快速地使用excel表格，只要輕松幾步甚至輸入幾項指令就能搞定呢？ ...
2025-05-15數據，如同無形的燃料，驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據，到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實，現在的大數據指的并不僅僅是海量數據，更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介： 萬木，CDA L1持證人，某電商中廠BI工程師 ，5年數據經驗1年BI內訓師，高級數據分析師，擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介： 王明月 ，CDA 數據分析師二級持證人，2年數據產品工作經驗，管理學博士在讀。 學習入口：https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介： 楊貞璽 ，CDA一級持證人，鄭州大學情報學碩士研究生，某上市公司數據分析師。 學習入口：https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖，暢銷書《小白學產品》作者，13年頂級互聯網公司產品經理相關經驗，曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴，都接到過一些高階的數據分析需求，實現的過程需要用到一些數據獲取，數據清洗轉換，建模方法等，這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄，如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》，點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介： 邱立峰 CDA 數據分析師二級持證人，數字化轉型專家，數據治理專家，高級數據分析師，擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介： 程靖 CDA會員大咖，暢銷書《小白學產品》作者，13年頂級互聯網公司產品經理相關經驗，曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介： 居瑜 ，CDA一級持證人國企財務經理，13年財務管理運營經驗，在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析（One-Way ANOVA）是一種關鍵的統計方法，用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介： 居瑜 ，CDA一級持證人國企財務經理，13年財務管理運營經驗，在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25
京公網安備 11010802034615號
經營許可證編號：京B2-20210330
