python批量導入數(shù)據進Elasticsearch的實例
更新時間：2018年05月30日 10:43:27 作者：小威xiaowei2
今天小編就為大家分享一篇python批量導入數(shù)據進Elasticsearch的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
ES在之前的博客已有介紹，提供很多接口，本文介紹如何使用python批量導入。ES官網上有較多說明文檔，仔細研究并結合搜索引擎應該不難使用。
先給代碼
#coding=utf-8
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch import helpers
es = Elasticsearch()
actions = []
f=open('index.txt')
i=1
for line in f:
line = line.strip().split(' ')
action={
"_index":"image",
"_type":"imagetable",
"_id":i,
"_source":{
u"圖片名":line[0].decode('utf8'),
u"來源":line[1].decode('utf8'),
u"權威性":line[2].decode('utf8'),
u"大小":line[3].decode('utf8'),
u"質量":line[4].decode('utf8'),
u"類別":line[5].decode('utf8'),
u"型號":line[6].decode('utf8'),
u"國別":line[7].decode('utf8'),
u"采集人":line[8].decode('utf8'),
u"所屬部門":line[9].decode('utf8'),
u"關鍵詞":line[10].decode('utf8'),
u"訪問權限":line[11].decode('utf8')
}
}
i+=1
actions.append(action)
if(len(actions)==500):
helpers.bulk(es, actions)
del actions[0:len(actions)]
if (len(actions) > 0):
helpers.bulk(es, actions)
每句話的含義還是很明顯的，這里需要說幾點，首先是index.txt是以utf8編碼的，所以需要decode('utf8')轉換成unicode對象，并且“圖片名”前需要加u，否則ES會報錯
導入的速度還是很快的，2000多條記錄每秒。
以上這篇python批量導入數(shù)據進Elasticsearch的實例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Python提供了多種方法來讀取文件內容，其中包括read()、readline()和readlines()三個常用的函數(shù)，本文將深入探討這三個函數(shù)的使用方法，需要的可以參考一下2023-08-08
這篇文章主要介紹了Python中的字符串相似度，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-05-05
Python實現(xiàn)Linux監(jiān)控的方法
本文通過實例代碼給大家介紹了Python實現(xiàn)Linux監(jiān)控的方法，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2019-05-05
Python+AutoIt實現(xiàn)界面工具開發(fā)過程詳解
這篇文章主要介紹了Python+AutoIt實現(xiàn)界面工具開發(fā)過程詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-08-08
這篇文章主要介紹了Python3.9.1中使用match方法詳解,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02
pyinstaller打包成無控制臺程序時運行出錯(與popen沖突的解決方法)
這篇文章主要介紹了pyinstaller打包成無控制臺程序時運行出錯(與popen沖突的解決方法)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-04-04
Python?中的?list、tuple、set、dict的底層實現(xiàn)小結
本文詳細介紹了Python中四種常用數(shù)據結構——list、tuple、set和dict的底層實現(xiàn),包括它們的存儲方式、性能特點以及適用場景,感興趣的朋友一起看看吧2025-03-03
最近做個天 氣方面的APP需要用到一些天氣數(shù)據,所以下面這篇文章主要給大家介紹了關于如何利用python多線程爬取天氣網站圖片并保存的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2021-11-11
這篇文章主要給大家介紹了關于Django項目實戰(zhàn)之配置文件的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-04-04
今天小編就為大家分享一篇pytorch自定義二值化網絡層方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01