快捷導(dǎo)航

如何在Win10系統(tǒng)使用Python3連接Hive

更新時間：2020年10月15日 15:12:53 作者：陸勤_數(shù)據(jù)人網(wǎng)

這篇文章主要介紹了如何在Win10系統(tǒng)使用Python3連接Hive，幫助大家更好的利用python讀取數(shù)據(jù)，進(jìn)行探索、分析和挖掘工作。感興趣的朋友可以了解下

由于數(shù)據(jù)存放在大數(shù)據(jù)平臺的Hive數(shù)據(jù)倉庫中，我需要在Win10系統(tǒng)上利用Python3連接Hive，然后讀取數(shù)據(jù)，進(jìn)行探索、分析和挖掘工作。

我通過網(wǎng)上查找資料和實(shí)際測試，把Win10系統(tǒng)Python3成功連接Hive配置總結(jié)如下。

第一步：安裝依賴庫

pip install bitarray
pip install bit_array
pip install thrift
pip install thriftpy
pip install pure_sasl
pip install --no-deps thrift-sasl==0.2.1

提示：若是無法安裝，也可以點(diǎn)擊如下網(wǎng)址，

https://www.lfd.uci.edu/~gohlke/pythonlibs/

選擇合適庫的whl下載，然后進(jìn)行本地化安裝。

第二步：安裝impyla庫

我采用本地化安裝方式，先下載impyla庫的whl，如下圖：

再安裝

pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl

提示：上面的絕對路徑根據(jù)你自己的情況而定

第三步：測試impyla庫是否可以使用

from impala.dbapi import connect #用來連接Hive的函數(shù)
from impala.util import as_pandas #用來把數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為pandas

若是運(yùn)行通過，表示利用impala連接Hive配置成功。

簡單示例：

從Hive的一張表讀取100條記錄，放到pandas的DataFrame里面。

參考代碼：

from impala.dbapi import connect #用來連接Hive的函數(shù)
from impala.util import as_pandas #用來把數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為pandas

conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()

參考資料

https://github.com/cloudera/impyla

以上就是如何在Win10系統(tǒng)使用Python3連接Hive的詳細(xì)內(nèi)容，更多關(guān)于Python3連接Hive的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章:

相關(guān)文章

Python中Parsel的兩種數(shù)據(jù)提取方式詳解
在網(wǎng)絡(luò)爬蟲的世界中,數(shù)據(jù)提取是至關(guān)重要的一環(huán),Python 提供了許多強(qiáng)大的工具,其中之一就是 parsel 庫,下面我們就來深入學(xué)習(xí)一下Parsel的兩種數(shù)據(jù)提取方式吧
2023-12-12
分享20個實(shí)用的Python?Excel自動化腳本
這篇文章主要介紹了20個實(shí)用的Python?Excel自動化腳本,用于自動化處理和分析Excel文件,提高工作效率,從批量填充單元格、設(shè)置行高與列寬到生成數(shù)據(jù)透視表和圖表,涵蓋了數(shù)據(jù)處理和分析的各個方面,需要的朋友可以參考下
2025-02-02
淺談python數(shù)據(jù)類型及類型轉(zhuǎn)換
這篇文章主要介紹了淺談python數(shù)據(jù)類型及類型轉(zhuǎn)換，介紹了python中的數(shù)據(jù)類型，以及數(shù)據(jù)的不可變性，還有字符串，列表等相關(guān)內(nèi)容，具有一定借鑒價值，需要的朋友可以參考下。
2017-12-12
Python解析xml中dom元素的方法
這篇文章主要介紹了Python解析xml中dom元素的方法,實(shí)例分析了Python操作XML中元素的技巧,具有一定參考借鑒價值,需要的朋友可以參考下
2015-03-03
定位python內(nèi)存泄漏問題及解決
這篇文章主要介紹了定位python內(nèi)存泄漏問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-11-11
Python制作七夕比心表白代碼詳解
在本篇文章里小編給大家整理的是一篇關(guān)于Python制作七夕比心表白代碼詳解內(nèi)容，有需要的朋友們可以學(xué)習(xí)參考下。
2021-08-08
python中csv文件的若干讀寫方法小結(jié)
今天小編就為大家分享一篇python中csv文件的若干讀寫方法小結(jié)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-07-07
一篇文章講解用VScode寫Python怎么運(yùn)行
這篇文章主要介紹了如何在Visual?Studio?Code（VSCode）中編寫和運(yùn)行Python代碼,包括安裝VSCode、安裝Python插件、配置Python環(huán)境、創(chuàng)建和運(yùn)行Python文件、調(diào)試Python代碼、代碼格式化、代碼片段、Git集成以及單元測試等,需要的朋友可以參考下
2024-12-12
詳解Python如何檢查一個數(shù)字是否是三態(tài)數(shù)
在數(shù)學(xué)中,三態(tài)數(shù)（Triangular?Number）是一種特殊的數(shù)列,它是由自然數(shù)按照一定規(guī)律排列而成的,本文主要介紹了如何使用Python檢查判斷一個數(shù)字是否是三態(tài)數(shù),需要的可以參考下
2024-03-03
python進(jìn)程池實(shí)現(xiàn)的多進(jìn)程文件夾copy器完整示例
這篇文章主要介紹了python進(jìn)程池實(shí)現(xiàn)的多進(jìn)程文件夾copy器,結(jié)合完整實(shí)例形式分析了Python基于多進(jìn)程與進(jìn)程池的文件操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下
2019-11-11