花式玩邏輯回歸之不是只能做二分類

最近忙了一些，懶也有啦，就沒怎么看書，發現一些新的東西，所以更新慢了，之前有個朋友叫我寫避免過擬合，但是這個題目真的好廣泛，我還沒看透，所以這個可能后續再寫，今天我們來寫個關于邏輯回歸的話題。

其實大部分的時候，使用邏輯回歸都是處理二分類的問題，那是因為在信用評分卡中，都是認好客戶和壞客戶，但是在其他的建模場景中還是存在多分類的情況的，例如你想建立一些用戶標簽，區分使用你在庫客戶的一些行為特征或者給他們加個標簽，更好的建立模型，那么建模中的多分類的話，可能會用神經網絡去區分多分類，但是除了神經網絡，我們萬能的邏輯回歸也可以。

介紹兩種把邏輯回歸變成多分類算法的思路，絕對不是那個多分類的邏輯回歸那個算法，底層還是那個二分類的邏輯回歸。

1

啞變量式法

平時如果邏輯回歸不轉化woe的話，字符變量就是以啞變量的形式進入模型的，那么現在我們也可以把我們的多分類變成啞變量的形式建立多個模型。

步驟一：

假設現在是有4個分類，A-B-C-D,現在建立四個模型，這四個模型的Y值是這么設置的：

分別建立了四個模型，這里你可以用全部的數據分成四份，分別建立四個模型，但是如果你數據少的話，其實我覺得你用同個全樣本數據做四個模型。

步驟二：這四個模型分別擬合建立模型，生成這四個模型的標準卡

步驟三：部署應用的就是，客戶的全部維度跑四個模型，取預測概率最高的那個即為是哪一類，即max(p(f1(x)), p(f2(x)), p(f3(x)), p(f4(x)))。

2

投票式

還是例如是四個標簽，A-B-C-D，這個方法的思路是：

步驟一：

這時候你需要建立是6個模型，每個模型選取的數據是樣本中對應標簽的數據。

步驟二：分別擬合建立6個模型，并生成6個模型的標準評分卡。

步驟三：部署應用是這樣子的：

當一個客戶進來的時候：跑第一個模型，預設一個閾值，如果超過閾值則為A,小于閾值就是C,依次算出6個模型的預測標簽，預測標簽就是這6個模型的最高票。

3

空間距離法

這個方法在西瓜書的65頁有詳細的介紹，如果你看不懂我寫的，你可以去看一下西瓜書的65頁-67頁的內容。這個方法我是自己看了之后，按照自己的理解再加點一個改動。

這個方法有點麻煩哈，就是你建立多少個模型都可以。

步驟一：你的Y值中的1可以是A 也可以是AB 0是CD ,然后你隨機的讓一個或者幾個標簽作為y值中的1，剩下的一個標簽作為y值的0，那么你就可以得到以下的矩陣。F1(X),就是A標簽為目標標簽，剩下則為非目標標簽,以此類推

步驟二：就是你根據的y值取目標標簽為1,然后進行建模，分別建立7個模型。這個我建立的模型對D不太公平，正常的話應該是每個標簽的做目標標簽的次數應該是跟非目標的次數是一樣的，但是這個沒那么寬，我就列舉了一下。

步驟三：部署的時候就是這樣子，你的客戶維度跑了全部的模型，模型會有一個閾值，那么大于這個閾值就是目標標簽，小于閾值就是非目標標簽。那么如果想F2(X)這種，大于閾值，那他可能是A標簽也可能是B標簽，這時候就不好判斷了，所以這之后按照空間距離的公司，算出客戶預測標簽組成一個向量，與A B C D的各個模型的作為目標變量組成的向量，計算預測標簽向量與標簽向量之間的歐式距離，距離最小的，即預測標簽為其標簽，我舉個例子：

例如有個客戶數據是(1,0,0,0,1,0,1)，那么他與A B C D歐式距離就是分別是：

那么這個客戶的預測標簽就是4。我這歐式距離是手算，要是有錯的告訴我一下哈。