python中常用的九種預(yù)處理方法分享
本文總結(jié)的是我們大家在python中常見的數(shù)據(jù)預(yù)處理方法，以下通過sklearn的preprocessing模塊來介紹;
1. 標(biāo)準(zhǔn)化（Standardization or Mean Removal and Variance Scaling)
變換后各維特征有0均值，單位方差。也叫z-score規(guī)范化（零均值規(guī)范化）。計算方式是將特征值減去均值，除以標(biāo)準(zhǔn)差。
sklearn.preprocessing.scale(X)
一般會把train和test集放在一起做標(biāo)準(zhǔn)化，或者在train集上做標(biāo)準(zhǔn)化后，用同樣的標(biāo)準(zhǔn)化器去標(biāo)準(zhǔn)化test集，此時可以用scaler
scaler = sklearn.preprocessing.StandardScaler().fit(train) scaler.transform(train) scaler.transform(test)
實際應(yīng)用中，需要做特征標(biāo)準(zhǔn)化的常見情景：SVM
2. 最小-最大規(guī)范化
最小-最大規(guī)范化對原始數(shù)據(jù)進(jìn)行線性變換，變換到[0,1]區(qū)間（也可以是其他固定最小最大值的區(qū)間）
min_max_scaler = sklearn.preprocessing.MinMaxScaler() min_max_scaler.fit_transform(X_train)
3.規(guī)范化（Normalization）
規(guī)范化是將不同變化范圍的值映射到相同的固定范圍，常見的是[0,1]，此時也稱為歸一化。
將每個樣本變換成unit norm。
X = [[ 1, -1, 2],[ 2, 0, 0], [ 0, 1, -1]] sklearn.preprocessing.normalize(X, norm='l2')
得到：
array([[ 0.40, -0.40, 0.81], [ 1, 0, 0], [ 0, 0.70, -0.70]])
可以發(fā)現(xiàn)對于每一個樣本都有，0.4^2+0.4^2+0.81^2=1,這就是L2 norm，變換后每個樣本的各維特征的平方和為1。類似地，L1 norm則是變換后每個樣本的各維特征的絕對值和為1。還有max norm，則是將每個樣本的各維特征除以該樣本各維特征的最大值。
在度量樣本之間相似性時，如果使用的是二次型kernel，需要做Normalization
4. 特征二值化（Binarization）
給定閾值，將特征轉(zhuǎn)換為0/1
binarizer = sklearn.preprocessing.Binarizer(threshold=1.1) binarizer.transform(X)
5. 標(biāo)簽二值化（Label binarization）
lb = sklearn.preprocessing.LabelBinarizer()
6. 類別特征編碼
有時候特征是類別型的，而一些算法的輸入必須是數(shù)值型，此時需要對其編碼。
enc = preprocessing.OneHotEncoder() enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]]) enc.transform([[0, 1, 3]]).toarray() #array([[ 1., 0., 0., 1., 0., 0., 0., 0., 1.]])
上面這個例子，第一維特征有兩種值0和1，用兩位去編碼。第二維用三位，第三維用四位。
另一種編碼方式
newdf=pd.get_dummies(df,columns=["gender","title"],dummy_na=True)
7.標(biāo)簽編碼（Label encoding）
le = sklearn.preprocessing.LabelEncoder() le.fit([1, 2, 2, 6]) le.transform([1, 1, 2, 6]) #array([0, 0, 1, 2]) #非數(shù)值型轉(zhuǎn)化為數(shù)值型 le.fit(["paris", "paris", "tokyo", "amsterdam"]) le.transform(["tokyo", "tokyo", "paris"]) #array([2, 2, 1])
8.特征中含異常值時
sklearn.preprocessing.robust_scale
9.生成多項式特征
這個其實涉及到特征工程了，多項式特征/交叉特征。
poly = sklearn.preprocessing.PolynomialFeatures(2) poly.fit_transform(X)
原始特征：
轉(zhuǎn)化后：
總結(jié)
以上就是為大家總結(jié)的python中常用的九種預(yù)處理方法分享，希望這篇文章對大家學(xué)習(xí)或者使用python能有一定的幫助，如果有疑問大家可以留言交流。
相關(guān)文章
這篇文章主要給大家介紹了關(guān)于python常見模塊之OS模塊和time模塊的相關(guān)資料，time模塊、os模塊與sys模塊被稱為python模塊中的三劍客,需要的朋友可以參考下2021-06-06
今天小編就為大家分享一篇用Python去除圖像的黑色或白色背景實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
Pandas進(jìn)行數(shù)據(jù)編碼的十種方式總結(jié)
在機(jī)器學(xué)習(xí)中，很多算法都需要我們對分類特征進(jìn)行轉(zhuǎn)換（編碼），即根據(jù)某一列的值，新增（修改）一列。本文為大家總結(jié)了Pandas中十種數(shù)據(jù)編碼的方式，需要的可以參考一下2022-04-04
使用Python將Markdown格式轉(zhuǎn)為EPUB電子書格式的代碼實現(xiàn)
我們每天都會接觸到大量的文本內(nèi)容,無論是收藏的技術(shù)文檔、自己撰寫的筆記,還是網(wǎng)絡(luò)上的優(yōu)質(zhì)文章,都可能面臨閱讀體驗不佳的問題,所以本文給大家介紹了使用Python將Markdown格式轉(zhuǎn)為EPUB電子書格式的實現(xiàn)方法,需要的朋友可以參考下2025-04-04
這篇文章主要介紹了python 是如何進(jìn)行內(nèi)存管理的，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-11-11
這篇文章主要給大家介紹了關(guān)于python如何獲取當(dāng)前文件夾下所有文件名的相關(guān)資料，文中給出了詳細(xì)的示例代碼，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起看看吧2019-01-01
這篇文章主要介紹了Python正則表達(dá)式re模塊，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
Python實例方法、類方法、靜態(tài)方法的區(qū)別與作用詳解
這篇文章主要介紹了Python實例方法、類方法、靜態(tài)方法的區(qū)別與作用,結(jié)合實例形式分析了Python面向?qū)ο蟪绦蛟O(shè)計中實例方法、類方法、靜態(tài)方法的概念、原理、用法及相關(guān)操作技巧,需要的朋友可以參考下2019-03-03
python實現(xiàn)UDP協(xié)議下的文件傳輸
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)UDP協(xié)議下的文件傳輸，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-03-03
我們再使用python難免會出現(xiàn)各種各樣的報錯,下面這篇文章主要給大家介紹了關(guān)于Python常見報錯解決方案的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-05-05