使用Python構造hive insert語句說明
mysql可以使用nevicat導出insert語句用于數(shù)據(jù)構造，但是hive無法直接導出insert語句。我們可以先打印在hive命令行，然后使用腳本拼裝成insert語句，進行數(shù)據(jù)構造。
手動copy到python腳本進行sql語句構造：
def transformString(s): list_s = s.split('\t') print(len(list_s)) s_new = '' for item in list_s: s_new += '\"' + item.strip(' ') + '\"' + ',' return str(s_new.rstrip(','))# 為手動copy hive命令行打印輸出的記錄s = "555 helloworld"s_new = transformString(s)sql = 'insert into dw.test PARTITION (ymd = \'2019-03-18\') values({});'.format(s_new)print(sql)結果：
insert into dw.test PARTITION (ymd = '2019-03-18') values("555","helloworld");
補充知識：python向hive插入數(shù)據(jù)遇到的坑
因項目需求，應用python建模需要通過hive取數(shù)，并將結果寫入hive表。
嘗試了以下幾條坑爹路，僅做記錄如下：
通過impyla庫搭建hive與python橋梁
1.1 環(huán)境配置的坑（回頭放連接）
注: 遠程訪問hive一定要記得配置賬號密碼！?。箦e：。。。-4.。。
1.2 一定不要用impyla中的executemany去批量插入數(shù)據(jù)，也不要用其他的方式向hive插入數(shù)據(jù)，都是坑！奇慢無比！找資料也都是說不建議這么做。
長途跋涉hdfs法
2.1 先用python的pyhdfs庫將結果寫成hdfs文件，然后。。。尼瑪?。「緵]成功連上服務器的hdfs，本地hdfs到是可以的
2.2 那既然寫hdfs，我就直接將模型結果通過hadoop/hdfs命令上傳至hdfs。然后， 通過hive命令load data將hdfs中的結果再導入hive。雖然有點繞，但是成功了?。?！BUT！??！小兄弟，這個直接操作HDFS風險太高了，要不你還是另尋他法吧，不可以拒絕哦?。?！
2.3 好吧，根據(jù)建議，使用kafka，抱歉這個坑后面再來踩。
2.4 臨時處理方案：先將結果寫入mysql，再轉入hive，這個沒有坑，具體我也只是寫到mysql，無坑。。就是有點繞。。。
以上這篇使用Python構造hive insert語句說明就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
咳咳，又是一款新的小游戲，就是大家熟悉的王者~本文將利用python來實現(xiàn)高（di）配版的王者的小游戲，感興趣的小伙伴可以跟隨小編一起學習一下2023-03-03
Python 3.3實現(xiàn)計算兩個日期間隔秒數(shù)/天數(shù)的方法示例
這篇文章主要介紹了Python 3.3實現(xiàn)計算兩個日期間隔秒數(shù)/天數(shù)的方法,結合實例形式較為詳細的分析了基于Python3.3的日期時間轉換與運算相關操作技巧,需要的朋友可以參考下2019-01-01
Python基于BeautifulSoup和requests實現(xiàn)的爬蟲功能示例
這篇文章主要介紹了Python基于BeautifulSoup和requests實現(xiàn)的爬蟲功能,結合實例形式分析了Python使用BeautifulSoup和requests庫爬取網(wǎng)站指定信息的相關操作技巧,需要的朋友可以參考下2019-08-08
Python 基于FIR實現(xiàn)Hilbert濾波器求信號包絡詳解
今天小編就為大家分享一篇Python 基于FIR實現(xiàn)Hilbert濾波器求信號包絡詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
這篇文章主要介紹了詳解Python import方法引入模塊的實例的相關資料,在Python用import或者from…import或者from…import…as…來導入相應的模塊，需要的朋友可以參考下2017-08-08
用python3讀取python2的pickle數(shù)據(jù)方式
今天小編就為大家分享一篇用python3讀取python2的pickle數(shù)據(jù)方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
這篇文章主要介紹了python實現(xiàn)進度條的多種實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-04-04
卡爾曼濾波數(shù)據(jù)處理技巧通俗理解及python實現(xiàn)
這篇文章主要為大家介紹了卡爾曼濾波數(shù)據(jù)處理技巧的通俗理解及python實現(xiàn)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
這篇文章主要介紹了Numpy中對向量、矩陣的使用詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-10-10
在PS中，我們可以利用液化工具對人像進行瘦臉、放大眼睛等系列的常規(guī)操作。今天我們來了解一下這些操作的算法原理，并用pytorch?膨脹算法來實現(xiàn)大眼效果，感興趣的可以了解一下2021-11-11