pip install -U scikit-learn -i https://pypi.tuna.tsinghua.edu.cn/simple

import sklearn

from sklearn.datasets import load_iris
iris = load_iris()
X, y = iris.data, iris.target

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

from sklearn.neighbors import KNeighborsClassifier
model = KNeighborsClassifier(n_neighbors=3)

model.fit(X_train, y_train)

y_pred = model.predict(X_test)

from sklearn.metrics import accuracy_score
print(f"Model accuracy: {accuracy_score(y_test, y_pred)}")

import joblib
# 保存模型
joblib.dump(model, 'model.pkl')
# 加載模型
loaded_model = joblib.load('model.pkl')

from sklearn.model_selection import GridSearchCV
param_grid = {'n_neighbors': [1, 3, 5, 7, 9]}
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X_train, y_train)
print(f"Best parameters: {grid_search.best_params_}")

from sklearn.preprocessing import StandardScaler
import numpy as np
# 創(chuàng)建一個(gè)具有兩個(gè)特征的樣本數(shù)據(jù)集
X = np.array([[1, -1], [2, 0], [0, 1], [1, 1], [2, -1]])
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 注意事項(xiàng)：
# - 在訓(xùn)練集上擬合標(biāo)準(zhǔn)化器，并使用相同的參數(shù)轉(zhuǎn)換測試集。
# - 不要在測試集上調(diào)用 fit_transform()，應(yīng)該只使用 transform()。

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X)
# 注意事項(xiàng)：
# - 與 StandardScaler 類似，不要在測試集上調(diào)用 fit_transform()。
# - MinMaxScaler 會(huì)將特征縮放到 [0, 1] 范圍內(nèi)，對(duì)于某些算法可能不適用。

from sklearn.preprocessing import OneHotEncoder
import numpy as np
# 示例數(shù)據(jù)：具有兩個(gè)分類特征的二維數(shù)組
data = np.array([[0, 0], [1, 1], [2, 0], [0, 2]])
# 創(chuàng)建OneHotEncoder實(shí)例
encoder = OneHotEncoder(sparse=False)
# 訓(xùn)練并轉(zhuǎn)換數(shù)據(jù)
encoded_data = encoder.fit_transform(data)
# 打印轉(zhuǎn)換后的數(shù)據(jù)
print(encoded_data)
# 打印特征名稱
print(encoder.get_feature_names_out())

[[1. 0. 0. 1.]
 [0. 1. 1. 0.]
 [0. 0. 1. 0.]
 [1. 0. 0. 0.]]
['x0_0', 'x0_1', 'x0_2', 'x1_0']

from sklearn.preprocessing import LabelEncoder
import numpy as np
# 示例數(shù)據(jù)：一個(gè)包含分類標(biāo)簽的數(shù)組
labels = np.array(['cat', 'dog', 'cat', 'dog', 'bird'])
# 創(chuàng)建LabelEncoder實(shí)例
label_encoder = LabelEncoder()
# 訓(xùn)練并轉(zhuǎn)換數(shù)據(jù)
encoded_labels = label_encoder.fit_transform(labels)
# 打印轉(zhuǎn)換后的數(shù)據(jù)
print(encoded_labels)
# 打印原始和轉(zhuǎn)換后的標(biāo)簽
print(label_encoder.classes_)
print(label_encoder.transform(['bird', 'cat']))

[0 1 0 1 2]
['bird' 'cat' 'dog']
[1 0]

from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
iris = load_iris()
X, y = iris.data, iris.target
# 選擇兩個(gè)最佳特征
selector = SelectKBest(score_func=chi2, k=2)
X_k_best = selector.fit_transform(X, y)
# 注意事項(xiàng)：
# - 選擇特征的方法應(yīng)該與數(shù)據(jù)類型和任務(wù)類型相匹配。
# - chi2 適用于分類任務(wù)的非負(fù)特征。

from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
# 使用邏輯回歸模型和RFE選擇特征
selector = RFE(estimator=LogisticRegression(), n_features_to_select=2)
X_rfe = selector.fit_transform(X, y)
# 注意事項(xiàng)：
# - RFE 需要一個(gè)基礎(chǔ)估計(jì)器，通常是監(jiān)督學(xué)習(xí)模型。
# - 選擇的特征數(shù)量應(yīng)該小于等于原始特征的數(shù)量。

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 注意事項(xiàng)：
# - random_state 參數(shù)用于確?？芍貜?fù)性。
# - 保持訓(xùn)練集和測試集的比例一致對(duì)于評(píng)估模型性能很重要。

from sklearn.metrics import accuracy_score
from sklearn.linear_model import LogisticRegression
# 訓(xùn)練模型
model = LogisticRegression()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
# 計(jì)算準(zhǔn)確率
accuracy = accuracy_score(y_test, y_pred)
# 注意事項(xiàng)：
# - 準(zhǔn)確率是分類問題中最常用的評(píng)估指標(biāo)，但不總是最佳指標(biāo)。
# - 在不平衡數(shù)據(jù)集上，準(zhǔn)確率可能會(huì)誤導(dǎo)。

from sklearn.cluster import KMeans
# 使用 KMeans 進(jìn)行聚類
kmeans = KMeans(n_clusters=3)
kmeans.fit(X)
y_kmeans = kmeans.predict(X)
# 注意事項(xiàng)：
# - 需要預(yù)先指定聚類的數(shù)量（n_clusters）。
# - KMeans 對(duì)異常值敏感，可能需要預(yù)處理數(shù)據(jù)。

from sklearn.linear_model import LinearRegression
# 使用線性回歸進(jìn)行擬合
reg = LinearRegression()
reg.fit(X_train, y_train)
y_pred = reg.predict(X_test)
# 注意事項(xiàng)：
# - 線性回歸假設(shè)特征之間是線性關(guān)系。
# - 確保數(shù)據(jù)沒有多重共線性。

from sklearn.svm import SVC
# 使用支持向量機(jī)進(jìn)行分類
svc = SVC(kernel='linear')
svc.fit(X_train, y_train)
y_pred = svc.predict(X_test)
# 注意事項(xiàng)：
# - 選擇合適的核函數(shù)（kernel）對(duì)模型性能有很大影響。
# - 對(duì)于大型數(shù)據(jù)集，SVC 訓(xùn)練可能會(huì)很慢。

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
# 加載數(shù)據(jù)集
iris = datasets.load_iris()
X, y = iris.data, iris.target
# 劃分訓(xùn)練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 標(biāo)準(zhǔn)化特征
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
# 創(chuàng)建KNeighborsClassifier實(shí)例
knn = KNeighborsClassifier(n_neighbors=3)
# 訓(xùn)練模型
knn.fit(X_train_scaled, y_train)
# 進(jìn)行預(yù)測
y_pred = knn.predict(X_test_scaled)
# 計(jì)算準(zhǔn)確率
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy of the KNeighborsClassifier: {accuracy:.2f}')

from sklearn.model_selection import GridSearchCV
# 參數(shù)網(wǎng)格
param_grid = {'C': [0.1, 1, 10], 'kernel': ['linear', 'rbf']}
grid_search = GridSearchCV(SVC(), param_grid, cv=5)
grid_search.fit(X_train, y_train)
# 注意事項(xiàng)：
# - GridSearchCV 可能非常耗時(shí)，尤其是在大型參數(shù)空間和大型數(shù)據(jù)集上。
# - 只對(duì)訓(xùn)練集進(jìn)行網(wǎng)格搜索，以避免過擬合。

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import expon, randint
# 定義參數(shù)的分布
param_distributions = {
    'n_estimators': randint(100, 500),
    'max_depth': [5, 10, None],
    'learning_rate': expon(scale=1.0),
}
# 使用隨機(jī)搜索交叉驗(yàn)證
random_search = RandomizedSearchCV(RandomForestRegressor(), param_distributions, n_iter=10, cv=5, random_state=42)
random_search.fit(X_train, y_train)
# 注意事項(xiàng)：
# - RandomizedSearchCV 對(duì)于大型參數(shù)空間更為高效，因?yàn)樗皇菄L試所有可能的組合。
# - `n_iter` 參數(shù)控制了隨機(jī)搜索的迭代次數(shù)。
# - 隨機(jī)搜索的結(jié)果可能因隨機(jī)狀態(tài)的不同而有所差異。

# 創(chuàng)建帶有預(yù)處理和模型的管道
pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('svc', SVC())
])
# 定義參數(shù)網(wǎng)格
param_grid = {
    'svc__C': [0.1, 1, 10],
    'svc__kernel': ['linear', 'rbf']
}
# 在管道中使用網(wǎng)格搜索交叉驗(yàn)證
grid_search = GridSearchCV(pipeline, param_grid, cv=5)
grid_search.fit(X_train, y_train)
# 注意事項(xiàng)：
# - 參數(shù)名稱需要包含步驟名稱和參數(shù)名稱，格式為 `step__parameter`。
# - 管道和網(wǎng)格搜索的結(jié)合可以同時(shí)優(yōu)化預(yù)處理步驟和模型參數(shù)。

from sklearn import datasets
from sklearn.ensemble import RandomForestClassifier, VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
# 加載數(shù)據(jù)集
iris = datasets.load_iris()
X, y = iris.data, iris.target
# 劃分訓(xùn)練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 創(chuàng)建不同的分類器
log_clf = LogisticRegression(max_iter=1000, random_state=42)
rnd_clf = RandomForestClassifier(n_estimators=100, random_state=42)
svm_clf = SVC(gamma='scale', probability=True, random_state=42)
# 創(chuàng)建VotingClassifier對(duì)象，這里使用硬投票
voting_clf = VotingClassifier(
    estimators=[('lr', log_clf), ('rf', rnd_clf), ('svc', svm_clf)],
    voting='hard'
)
# 訓(xùn)練VotingClassifier
voting_clf.fit(X_train, y_train)
# 進(jìn)行預(yù)測
y_pred = voting_clf.predict(X_test)
# 計(jì)算準(zhǔn)確率
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy of the VotingClassifier: {accuracy:.2f}')

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
# 使用決策樹作為基礎(chǔ)估計(jì)器
ada_clf = AdaBoostClassifier(
    DecisionTreeClassifier(max_depth=1),
    n_estimators=200,
    algorithm="SAMME.R",
    learning_rate=0.5
)
ada_clf.fit(X_train, y_train)
y_pred = ada_clf.predict(X_test)
# 注意事項(xiàng)：
# - AdaBoostClassifier 可以通過調(diào)整 `learning_rate` 來控制模型過擬合的風(fēng)險(xiǎn)。
# - 基礎(chǔ)估計(jì)器通常是弱學(xué)習(xí)器，如決策樹，其深度通常較小。