pycharm連接spark教程
更新時(shí)間：2025年01月13日 15:07:47 作者：多學(xué)多看多練
這篇文章詳細(xì)介紹了如何在PyCharm中配置Hadoop和Spark環(huán)境,并提供了一個(gè)Python代碼示例來(lái)測(cè)試連接
1.解壓Hadoop
解壓到任意盤(pán)，路徑不要帶中文路徑
進(jìn)入保存后的bin目錄，查看，是否解壓成功
2.解壓spark
到任意位置，路徑不要帶有中文
3. 打開(kāi)pycharm
把Hadoop，spark環(huán)境變量配置到pycharm中。
3.1新建項(xiàng)目
3.2在項(xiàng)目中創(chuàng)建一個(gè)python文件
3.3把Hadoop_home
python_home,pythonpath添加到Pycharm中.
- 1.HADOOP_HOME
- 2.SPARK_HOME
- 3.PYTHONPATH
注意?。。?/strong>
PYTHONPATH路徑要添加到D:\spark\spark-2.4.6-bin-hadoop2.7\python\lib\py4j-0.10.7-src.zip下
3.4 檢查是否有以下軟件包
3.4.1 如果沒(méi)有請(qǐng)按照以下教程下載，后期需要
3.4.2安裝py4j
3.4.3安裝pyspark推薦2.4.6版本
3.4.4安裝pip
3.5安裝findspark
4.把winutils.exe插件
放到Hadoop解壓后的/bin目錄下面
5.把以下代碼
復(fù)制到4.2步驟中，新建的python文件中
#添加此代碼
import findspark
findspark.init()
#在spark前，添加此代碼
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("WordCount").getOrCreate()
spark.sparkContext.textFile("file:///D:/Hadoop/hadoop-2.7.7/README.txt")\
.flatMap(lambda x: x.split(' '))\
.map(lambda x: (x, 1))\
.reduceByKey(lambda x, y: x + y)\
.foreach(print)
必須要有這句話在spark前面！??！
6.測(cè)試
出現(xiàn)以上內(nèi)容，表示pycharm連接spark成功。
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- pycharm利用pyspark遠(yuǎn)程連接spark集群的實(shí)現(xiàn)
- Win10搭建Pyspark2.4.4+Pycharm開(kāi)發(fā)環(huán)境的圖文教程(親測(cè))
- windows下pycharm搭建spark環(huán)境并成功運(yùn)行 附源碼
- PyCharm搭建Spark開(kāi)發(fā)環(huán)境的實(shí)現(xiàn)步驟
- pycharm編寫(xiě)spark程序，導(dǎo)入pyspark包的3中實(shí)現(xiàn)方法
- PyCharm搭建Spark開(kāi)發(fā)環(huán)境實(shí)現(xiàn)第一個(gè)pyspark程序
- PyCharm+PySpark遠(yuǎn)程調(diào)試的環(huán)境配置的方法
相關(guān)文章
Windows下實(shí)現(xiàn)將Pascal VOC轉(zhuǎn)化為T(mén)FRecords
今天小編就為大家分享一篇Windows下實(shí)現(xiàn)將Pascal VOC轉(zhuǎn)化為T(mén)FRecords，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
python 正則，剛開(kāi)始需要注意的他的正則的獨(dú)特的地方。不同語(yǔ)言的正則稍有不同。
2009-05-05 
Python將字符串轉(zhuǎn)換為小寫(xiě)字母的幾種常用方法
這篇文章主要介紹了Python中將字符串大寫(xiě)字母轉(zhuǎn)小寫(xiě)的四種方法：lower()方法簡(jiǎn)潔高效,手動(dòng)ASCII轉(zhuǎn)換靈活可控,str.translate()性能優(yōu)化適合大數(shù)據(jù)處理,列表推導(dǎo)式實(shí)現(xiàn)代碼簡(jiǎn)潔,總結(jié)方法優(yōu)缺點(diǎn)及適用場(chǎng)景,需要的朋友可以參考下
2025-05-05 
Django中ModelForm組件的簡(jiǎn)單配置與使用教程
modelform是django中基于已有的model,快速生成的具有form功能的一個(gè)模塊,下面這篇文章主要給大家介紹了關(guān)于Django中ModelForm組件的簡(jiǎn)單配置與使用教程,需要的朋友可以參考下
2022-10-10 
Python generator生成器和yield表達(dá)式詳解
這篇文章主要介紹了Python generator生成器和yield表達(dá)式詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-08-08 
python+pyqt5實(shí)現(xiàn)KFC點(diǎn)餐收銀系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python+pyqt5實(shí)現(xiàn)KFC點(diǎn)餐收銀系統(tǒng)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-01-01 
在Python中,zip()函數(shù)是一個(gè)非常實(shí)用且強(qiáng)大的內(nèi)置函數(shù),它主要用于將多個(gè)迭代器（如列表、元組、字符串等）中的元素“打包”成一個(gè)個(gè)元組,并返回一個(gè)迭代器,下面,我將詳細(xì)探討zip()函數(shù)的使用方法,需要的朋友可以參考下
2024-09-09 
Django 模板是使用 Django 模板語(yǔ)言標(biāo)記的一個(gè)文本文檔或Python字符串。模板引擎可以識(shí)別和解釋一些構(gòu)造。主要是變量和標(biāo)簽。模板是通過(guò)上下文來(lái)渲染的。渲染用變量的值替換變量，變量的值在上下文中查找，并執(zhí)行標(biāo)簽。其他的一切都按原樣輸出
2022-10-10 
利用Python將多張圖片合成視頻的實(shí)現(xiàn)
這篇文章主要介紹了利用Python將多張圖片合成視頻的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2020-11-11