來源：Deephub Imba

機器學(xué)習(xí)算法只接受數(shù)值輸入，所以如果我們遇到分類特征的時候都會對分類特征進(jìn)行編碼，本文總結(jié)了常見的11個分類變量編碼方法。

最流行且常用的編碼方法是One Hot Enoding。一個具有n個觀測值和d個不同值的單一變量被轉(zhuǎn)換成具有n個觀測值的d個二元變量，每個二元變量使用一位（0，1）進(jìn)行標(biāo)識。

例如：

編碼后：

最簡單的實現(xiàn)是使用pandas的' get_dummies

 new_df=pd.get_dummies(columns=[‘Sex’], data=df)

為分類數(shù)據(jù)變量分配一個唯一標(biāo)識的整數(shù)。這種方法非常簡單，但對于表示無序數(shù)據(jù)的分類變量是可能會產(chǎn)生問題。比如：具有高值的標(biāo)簽可以比具有低值的標(biāo)簽具有更高的優(yōu)先級。

例如上面的數(shù)據(jù)，我們編碼后得到了下面的結(jié)果：

sklearn的LabelEncoder 可以直接進(jìn)行轉(zhuǎn)換：

 from sklearn.preprocessing import LabelEncoder le=LabelEncoder()
 df[‘Sex’]=le.fit_transform(df[‘Sex’])

LabelBinarizer 是一個用來從多類別列表創(chuàng)建標(biāo)簽矩陣的工具類，它將把一個列表轉(zhuǎn)換成一個列數(shù)與輸入集合中惟一值的列數(shù)完全相同的矩陣。

例如這個數(shù)據(jù)：

轉(zhuǎn)化后結(jié)果為：

 from sklearn.preprocessing import LabelBinarizer lb = LabelBinarizer()
 new_df[‘Sex’]=lb.fit_transform(df[‘Sex’])

Leave One Out 編碼時，目標(biāo)分類特征變量對具有相同值的所有記錄會被平均以確定目標(biāo)變量的平均值。在訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集之間，編碼算法略有不同。因為考慮到分類的特征記錄被排除在訓(xùn)練數(shù)據(jù)集外，因此被稱為“Leave One Out”。

對特定類別變量的特定值的編碼如下。

 ci = (Σj != i tj / (n — 1 + R)) x (1 + εi) where ci = encoded value for ith record tj = target variable value for jth record n = number of records with the same categorical variable value R = regularization factor εi = zero mean random variable with normal distribution N(0, s)

例如下面的數(shù)據(jù)：

編碼后:

為了演示這個編碼過程，我們創(chuàng)建數(shù)據(jù)集：

 import pandas as pd; data = [[‘1’, 120], [‘2’, 120], [‘3’, 140], [‘2’, 100], [‘3’, 70], [‘1’, 100],[‘2’, 60], [‘3’, 110], [‘1’, 100],[‘3’, 70] ]
 df = pd.DataFrame(data, columns = [‘Dept’,’Yearly Salary’])

然后進(jìn)行編碼：

 import category_encoders as ce tenc=ce.TargetEncoder() df_dep=tenc.fit_transform(df[‘Dept’],df[‘Yearly Salary’]) df_dep=df_dep.rename({‘Dept’:’Value’}, axis=1)
 df_new = df.join(df_dep)

這樣就得到了上面的結(jié)果。

當(dāng)使用哈希函數(shù)時，字符串將被轉(zhuǎn)換為一個惟一的哈希值。因為它使用的內(nèi)存很少可以處理更多的分類數(shù)據(jù)。對于管理機器學(xué)習(xí)中的稀疏高維特征，特征哈希是一種有效的方法。它適用于在線學(xué)習(xí)場景，具有快速、簡單、高效、快速的特點。

例如下面的數(shù)據(jù)：

編碼后：

代碼如下：

 from sklearn.feature_extraction import FeatureHasher # n_features contains the number of bits you want in your hash value. h = FeatureHasher(n_features = 3, input_type =’string’) # transforming the column after fitting hashed_Feature = h.fit_transform(df[‘nom_0’]) hashed_Feature = hashed_Feature.toarray() df = pd.concat([df, pd.DataFrame(hashed_Feature)], axis = 1)
 df.head(10)

(WoE) 開發(fā)的主要目標(biāo)是創(chuàng)建一個預(yù)測模型，用于評估信貸和金融行業(yè)的貸款違約風(fēng)險。證據(jù)支持或駁斥理論的程度取決于其證據(jù)權(quán)重或 WOE。

如果P(Goods) / P(Bads) = 1，則WoE為0。如果這個組的結(jié)果是隨機的，那么P(Bads) > P(Goods)，比值比為1，證據(jù)的權(quán)重(WoE)為0。如果一組中P(Goods) > P(bad)，則WoE大于0。

因為Logit轉(zhuǎn)換只是概率的對數(shù)，或ln(P(Goods)/P(bad))，所以WoE非常適合于邏輯回歸。當(dāng)在邏輯回歸中使用wo編碼的預(yù)測因子時，預(yù)測因子被處理成與編碼到相同的尺度，這樣可以直接比較線性邏輯回歸方程中的變量。

例如下面的數(shù)據(jù)：

會被編碼為：

代碼如下：

 from category_encoders import WOEEncoder df = pd.DataFrame({‘cat’: [‘a(chǎn)’, ‘b’, ‘a(chǎn)’, ‘b’, ‘a(chǎn)’, ‘a(chǎn)’, ‘b’, ‘c’, ‘c’], ‘target’: [1, 0, 0, 1, 0, 0, 1, 1, 0]}) woe = WOEEncoder(cols=[‘cat’], random_state=42) X = df[‘cat’] y = df.target
 encoded_df = woe.fit_transform(X, y)

Helmert Encoding將一個級別的因變量的平均值與該編碼中所有先前水平的因變量的平均值進(jìn)行比較。

反向 Helmert 編碼是類別編碼器中變體的另一個名稱。它將因變量的特定水平平均值與其所有先前水平的水平的平均值進(jìn)行比較。

會被編碼為：

代碼如下：

import category_encoders as ce encoder=ce.HelmertEncoder(cols=’Dept’) new_df=encoder.fit_transform(df[‘Dept’]) new_hdf=pd.concat([df,new_df], axis=1)
 new_hdf

是CatBoost編碼器試圖解決的是目標(biāo)泄漏問題，除了目標(biāo)編碼外，還使用了一個排序概念。它的工作原理與時間序列數(shù)據(jù)驗證類似。當(dāng)前特征的目標(biāo)概率僅從它之前的行(觀測值)計算，這意味著目標(biāo)統(tǒng)計值依賴于觀測歷史。

TargetCount:某個類別特性的目標(biāo)值的總和(到當(dāng)前為止)。

Prior:它的值是恒定的，用(數(shù)據(jù)集中的觀察總數(shù)(即行))/(整個數(shù)據(jù)集中的目標(biāo)值之和)表示。

featucalculate:到目前為止已經(jīng)看到的、具有與此相同值的分類特征的總數(shù)。

編碼后的結(jié)果如下：

代碼：

 import category_encoders category_encoders.cat_boost.CatBoostEncoder(verbose=0, cols=None, drop_invariant=False, return_df=True, handle_unknown=’value’, handle_missing=’value’, random_state=None, sigma=None, a=1)  target = df[[‘target’]] train = df.drop(‘target’, axis = 1)  # Define catboost encoder cbe_encoder = ce.cat_boost.CatBoostEncoder()  # Fit encoder and transform the features cbe_encoder.fit(train, target)
 train_cbe = cbe_encoder.transform(train)

James-Stein 為特征值提供以下加權(quán)平均值：

• 觀察到的特征值的平均目標(biāo)值。

• 平均期望值（與特征值無關(guān)）。

James-Stein 編碼器將平均值縮小到全局的平均值。該編碼器是基于目標(biāo)的。但是James-Stein 估計器有缺點：它只支持正態(tài)分布。

它只能在給定正態(tài)分布的情況下定義（實時情況并非如此）。為了防止這種情況，我們可以使用 beta 分布或使用對數(shù)-比值比轉(zhuǎn)換二元目標(biāo)，就像在 WOE 編碼器中所做的那樣（默認(rèn)使用它，因為它很簡單）。

Target Encoder的一個更直接的變體是M Estimator Encoding。它只包含一個超參數(shù)m，它代表正則化冪。m值越大收縮越強。建議m的取值范圍為1 ~ 100。

Sum Encoder將類別列的特定級別的因變量(目標(biāo))的平均值與目標(biāo)的總體平均值進(jìn)行比較。在線性回歸(LR)的模型中，Sum Encoder和ONE HOT ENCODING都是常用的方法。兩種模型對LR系數(shù)的解釋是不同的，Sum Encoder模型的截距代表了總體平均值(在所有條件下)，而系數(shù)很容易被理解為主要效應(yīng)。在OHE模型中，截距代表基線條件的平均值，系數(shù)代表簡單效應(yīng)(一個特定條件與基線之間的差)。

最后，在編碼中我們用到了一個非常好用的Python包 “category-encoders”它還提供了其他的編碼方法，如果你對他感興趣，請查看它的官方文檔：

http://contrib.scikit-learn.org/category_encoders/