Pyspark 線性回歸梯度下降交叉驗(yàn)證知識(shí)點(diǎn)詳解
我正在嘗試在 pyspark 中的 SGD 模型上執(zhí)行交叉驗(yàn)證，我正在使用pyspark.mllib.regression，ParamGridBuilder和CrossValidator都來自pyspark.ml.tuning庫(kù)的LinearRegressionWithSGD。
在 Spark 網(wǎng)站上跟蹤文件資料之后，我希望運(yùn)行此方法可以正常工作
資料參考：https://spark.apache.org/docs/2.1.0/ml-tuning.html
lr = LinearRegressionWithSGD()
pipeline=Pipeline(stages=[lr])
paramGrid = ParamGridBuilder()\
.addGrid(lr.stepSize, Array(0.1, 0.01))\
.build()
crossval = CrossValidator(estimator=pipeline,estimatorParamMaps= paramGrid,
evaluator=RegressionEvaluator(),
numFolds=10)
但是LinearRegressionWithSGD()沒有屬性stepSize(也沒有運(yùn)氣嘗試過其他人)。
我可以將 lr 設(shè)置為L(zhǎng)inearRegression，但是我無(wú)法在模型中使用 SGD 并進(jìn)行交叉驗(yàn)證。
斯卡拉中有kFold方法，但我不確定如何從 pyspark 訪問該方法
解決方案
您可以使用LinearRegressionWithSGD中的step參數(shù)來定義步長(zhǎng)，但由于您正在混合不兼容的庫(kù)，因此這將使代碼無(wú)法正常工作。不幸的是，我不知道如何使用SGD優(yōu)化對(duì)ml庫(kù)進(jìn)行交叉驗(yàn)證，我想知道自己，但是您正在混合使用pyspark.ml和pyspark.mllib庫(kù)。具體來說，您不能將LinearRegressionWithSGD與pyspark.ml庫(kù)一起使用。您必須使用pyspark.ml.regression.LinearRegression。
好消息是您可以將pyspark.ml.regression.LinearRegression的setsolver屬性設(shè)置為使用'gd'。因此，您可能可以將'gd'優(yōu)化器的參數(shù)設(shè)置為以SGD運(yùn)行，但是我不確定求解器文檔在哪里或如何設(shè)置求解器屬性（例如批大?。Ｔ揳pi顯示了調(diào)用Param（）的LinearRegression對(duì)象，但是我不確定它是否使用pyspark.mllib優(yōu)化器。如果有人知道如何設(shè)置求解器屬性，則可以通過允許您將Pipeline，ParamGridBuilder和CrossValidation ml軟件包用于LinearRegression進(jìn)行模型選擇，并利用SGD優(yōu)化進(jìn)行參數(shù)調(diào)整來回答您的問題。
到此這篇關(guān)于Pyspark 線性回歸梯度下降交叉驗(yàn)證知識(shí)點(diǎn)詳解的文章就介紹到這了,更多相關(guān)Pyspark 線性回歸梯度下降交叉驗(yàn)證內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python實(shí)現(xiàn)excel轉(zhuǎn)置問題詳解
這篇文章主要介紹了python實(shí)現(xiàn)excel轉(zhuǎn)置問題詳解，excel轉(zhuǎn)置分為兩種情況，一個(gè)是較為簡(jiǎn)單的只需要行轉(zhuǎn)列，列轉(zhuǎn)行，具體詳解，感興趣的小伙伴可以參考一下2022-09-09
詳解pandas的外部數(shù)據(jù)導(dǎo)入與常用方法
這篇文章主要介紹了詳解pandas的外部數(shù)據(jù)導(dǎo)入與常用方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
基于python實(shí)現(xiàn)弱密碼檢測(cè)工具
Python中一個(gè)強(qiáng)大的加密模塊,提供了許多常見的加密算法和工具,本文我們將使用Python編寫一個(gè)弱密碼檢測(cè)工具,感興趣的小伙伴可以了解一下2024-01-01
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)書法碑帖圖片分割，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-03-03
Python入門Anaconda和Pycharm的安裝和配置詳解
這篇文章主要介紹了Python入門Anaconda和Pycharm的安裝和配置詳解，文章通過圖文介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
Python中的任何序列（可迭代的對(duì)象）都可以通過賦值操作進(jìn)行拆分，包括但不限于元組、列表、字符串、文件、迭代器、生成器等。2021-10-10
python中@property的作用和getter setter的解釋
這篇文章主要介紹了python中@property的作用和getter setter的解釋,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-12-12
對(duì)python過濾器和lambda函數(shù)的用法詳解
今天小編就為大家分享一篇對(duì)python過濾器和lambda函數(shù)的用法詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python微醫(yī)掛號(hào)網(wǎng)醫(yī)生數(shù)據(jù)抓取
今天小編就為大家分享一篇關(guān)于Python微醫(yī)掛號(hào)網(wǎng)醫(yī)生數(shù)據(jù)抓取，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2019-01-01
這篇文章主要為大家詳細(xì)介紹了QML用PathView實(shí)現(xiàn)輪播圖，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-06-06