Pycharm連接遠(yuǎn)端Python環(huán)境操作Spark過(guò)程
遠(yuǎn)程連接方案，允許程序員連接遠(yuǎn)端測(cè)試環(huán)境，確保環(huán)境的統(tǒng)一，避免各種環(huán)境問(wèn)題的發(fā)生,而且由于是連接的遠(yuǎn)程環(huán)境，所有在Pycharm編寫(xiě)的代碼 可自動(dòng)上傳到遠(yuǎn)端服務(wù)器，本地在執(zhí)行代碼的時(shí)候，相當(dāng)于直接在遠(yuǎn)端環(huán)境上運(yùn)行。
1. 創(chuàng)建工程，指定遠(yuǎn)端python解析器
前提條件：遠(yuǎn)端Centos系統(tǒng)，安裝了Spark環(huán)境，安裝了Python環(huán)境，本文基于anaconda安裝的python環(huán)境
打開(kāi)pycharm開(kāi)發(fā)工具，選擇File->New Project->Pure Python創(chuàng)建一個(gè)Python工程
需要：指定工程本地工作目錄，選擇先前配置的python解析器，若未配置遠(yuǎn)端python解析器，則打開(kāi)對(duì)話框根據(jù)提示配置
2. 添加遠(yuǎn)端python解析器
添加遠(yuǎn)端python解析器，需要SSH方式(指定服務(wù)器地址、登錄用戶名、登錄口令)登錄遠(yuǎn)端服務(wù)器
指定服務(wù)器的登錄口令
單機(jī) Next，連接到服務(wù)器后，選擇python的安裝目錄
配置完成，就可以選擇已經(jīng)配置了的服務(wù)器python解析器。
同時(shí)指定工程在服務(wù)器上的工作目錄
3. 配置完成
配置完成，F(xiàn)ile->Settings -> 選擇對(duì)應(yīng)工程，可以發(fā)現(xiàn)：服務(wù)器上python環(huán)境安裝的工具包，及本地工作目錄和服務(wù)器工作目錄的映射。這里主要關(guān)注pyspark包的安裝
4. 本地文件自動(dòng)同步遠(yuǎn)端
本地工程文件實(shí)時(shí)同步到服務(wù)器工作目錄，若擔(dān)心影響開(kāi)發(fā)效率，可以關(guān)閉自動(dòng)同步，開(kāi)啟手工同步
5. 刪除遠(yuǎn)端python解析器(非必須操作，重新配置時(shí)參考該項(xiàng))
配置過(guò)程中，若發(fā)現(xiàn)服務(wù)器python解析器配置錯(cuò)誤，或配置重復(fù)，可從此處進(jìn)入，刪除有誤的配置
6. 文件模板配置
每個(gè)文件都用到的一些代碼，例如導(dǎo)包，本地鎖定服務(wù)器python解析器，可以做成一個(gè)模板。工程中每次創(chuàng)建一個(gè)新文件，會(huì)自動(dòng)導(dǎo)入模板。
#!/usr/bin/env python
# @desc :
__coding__ = "utf-8"
__author__ = "xxx team"
from pyspark import SparkContext, SparkConf
import os
# 鎖定遠(yuǎn)端操作環(huán)境, 避免存在多個(gè)版本環(huán)境的問(wèn)題
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ["PYSPARK_PYTHON"] = "/root/anaconda3/bin/python"
os.environ["PYSPARK_DRIVER_PYTHON"] = "/root/anaconda3/bin/python"
# 快捷鍵: main 回車
if __name__ == '__main__':
print("XXX案例")
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
- Python大數(shù)據(jù)分析之PySpark原理與實(shí)戰(zhàn)教程詳解
- 使用Python和PySpark進(jìn)行數(shù)據(jù)分析的實(shí)戰(zhàn)教程
- 從Pyspark UDF調(diào)用另一個(gè)自定義Python函數(shù)的方法步驟
- Python?PySpark案例實(shí)戰(zhàn)教程
- spark編程python實(shí)例解讀
- Python安裝spark的詳細(xì)過(guò)程
- 在python中使用pyspark讀寫(xiě)Hive數(shù)據(jù)操作
- 如何將PySpark導(dǎo)入Python的放實(shí)現(xiàn)(2種)
相關(guān)文章
Python全角與半角之間相互轉(zhuǎn)換的方法總結(jié)
全角與半角轉(zhuǎn)換在處理漢語(yǔ)語(yǔ)料中會(huì)經(jīng)常出現(xiàn),這里分別說(shuō)明漢字、數(shù)字、字母的unicode編碼范圍,下面這篇文章主要給大家介紹了關(guān)于Python全角與半角之間相互轉(zhuǎn)換的相關(guān)資料,需要的朋友可以參考下2022-03-03
Python異常處理是Python中重要的一部分，為了保證程序的穩(wěn)定性和可靠性，我們需要使用異常處理來(lái)及時(shí)捕獲，并以優(yōu)雅的方式來(lái)處理這些異常，本教程將介紹如何處理?Python中的異常,需要的朋友可以參考下2023-06-06
這篇文章主要為大家詳細(xì)介紹了PyQt5每天必學(xué)之組合框，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-04-04
用Python實(shí)現(xiàn)2024年春晚劉謙魔術(shù)
昨晚春晚上劉謙的兩個(gè)魔術(shù)表演都非常精彩,忍不住用編程去模擬一下這個(gè)過(guò)程,所以本文給大家用Python實(shí)現(xiàn)2024年春晚劉謙魔術(shù),文中通過(guò)代碼示例給大家介紹的非常詳細(xì),需要的朋友可以參考下2024-02-02
Python?對(duì)象拷貝及深淺拷貝區(qū)別的詳細(xì)教程示例
這篇文章主要介紹了Python?對(duì)象拷貝及深淺拷貝區(qū)別的詳細(xì)教程示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
介紹Python的Urllib庫(kù)的一些高級(jí)用法
這篇文章主要介紹了Python的Urllib庫(kù)的一些高級(jí)用法,是用Python編寫(xiě)爬蟲(chóng)的一些基礎(chǔ)知識(shí),需要的朋友可以參考下2015-04-04
文章介紹使用openpyxl和pandas處理Excel報(bào)表,前者需手動(dòng)合并邏輯,后者通過(guò)concat/append簡(jiǎn)化操作,強(qiáng)調(diào)data_only參數(shù)避免公式干擾,并可實(shí)現(xiàn)數(shù)據(jù)過(guò)濾、轉(zhuǎn)換等功能2025-09-09PyQT5實(shí)現(xiàn)選項(xiàng)卡窗口、堆棧窗口、?？看翱?、子窗口
這篇文章主要介紹了PyQT5實(shí)現(xiàn)選項(xiàng)卡窗口、堆棧窗口、停靠窗口、子窗口，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
python的time模塊和datetime模塊實(shí)例解析
這篇文章主要介紹了python的time模塊和datetime模塊實(shí)例解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11
Python爬蟲(chóng)入門(mén)教程02之筆趣閣小說(shuō)爬取
這篇文章主要介紹了Python爬蟲(chóng)入門(mén)教程02之筆趣閣小說(shuō)爬取,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-01-01