python連接kafka加載數(shù)據(jù)的項目實踐
更新時間：2023年05月22日 10:46:28 作者：呼倫貝爾-鋼蛋兒
本文主要介紹了python連接kafka加載數(shù)據(jù)的項目實踐，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
背景：讀取TXT文件，加載到kafka中，然后通過logstash消費kafka中的數(shù)據(jù)加載到es中
第一步：導入相應的依賴包
pip install kafka-python pip install loguru pip install msgpack
第二步：編寫連接kafka的代碼
# -*- coding: utf-8 -*-
import json
import json
import msgpack
from loguru import logger
from kafka import KafkaProducer
from kafka.errors import KafkaError
def kfk_produce_1():
"""
發(fā)送 json 格式數(shù)據(jù)
:return:
"""
producer = KafkaProducer(
//連接kafka集群的配置信息
bootstrap_servers='192.168.85.109:9092',
value_serializer=lambda v: json.dumps(v).encode('utf-8')
)
//這里是你創(chuàng)建topic和打算發(fā)送數(shù)據(jù)的地方
producer.send('python_test_topic', {'key': 'value'})
kfk_produce_1()第三步：驗證是否在kafka中創(chuàng)建topic
kafka的消費者界面上已經(jīng)出現(xiàn)了創(chuàng)建的topic，并且數(shù)據(jù)也接收到了
注意：下面的消費者界面的按鈕，要先運行起來，選擇好kafka環(huán)境和topic，group以后，點擊那個綠色的運行按鈕，就能實時看到發(fā)送過來的消息了，??
問題記錄：
然后在使用時，報錯提示：ImportError: cannot import name ‘KafkaConsumer’
找了一會兒最后發(fā)現(xiàn)自己創(chuàng)建的文件名叫做：kafka.py，突然意識到問題出在哪里了。
原因：
簡單說就是因為，創(chuàng)建的文件名是kafka.py，這會導致代碼運行時，python解釋器查找kafka的模塊時，就找到自身kafka.py了，所以就報錯。
以后寫代碼的時候，還是要注意，切記不要用關鍵字去命名文件，避免不必要的麻煩。
到此這篇關于python連接kafka加載數(shù)據(jù)的項目實踐的文章就介紹到這了,更多相關python連接kafka加載數(shù)據(jù)內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
剛剛學python的時候，時常糾結于python中沒有C語言中 ？ ： 的實現(xiàn)，今天終于發(fā)現(xiàn)了兩種python的實現(xiàn)方式2013-10-10
舉例講解Django中數(shù)據(jù)模型訪問外鍵值的方法
這篇文章主要介紹了舉例講解Django中數(shù)據(jù)模型訪問外鍵值的方法,Django是最具人氣的Python web開發(fā)框架,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了python-jwt用戶認證食用教學的實現(xiàn)方法,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-01-01
這篇文章主要介紹了PyCharm 光標變成黑塊的解決方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-02-02
這篇文章主要介紹了詳解Python3中的Sequence type的使用,是Python入門學習中的基礎知識,需要的朋友可以參考下2015-08-08
這篇文章主要介紹了通過實例淺析Python對比C語言的編程思想差異,作為面向對象和面向過程的編程語言代表,二者的對比可謂經(jīng)典,需要的朋友可以參考下2015-08-08
這篇文章主要介紹了python如何實現(xiàn)簡單的tcp文件下載，幫助大家更好的理解和學習python，感興趣的朋友可以了解下2020-09-09
從零開始學Python第八周：詳解網(wǎng)絡編程基礎（socket)
本篇文章主要介紹了從零開始學Python第八周：詳解網(wǎng)絡編程基礎（socket) ，具有一定的參考價值，有興趣的可以了解一下。2016-12-12
鼠標事件的回調函數(shù)使用方法是計算機視覺領域的核心知識點之一,掌握這項技能對于提升視覺算法開發(fā)效率和應用效果至關重要,本文深入講解了OpenCV中鼠標事件回調函數(shù)的使用方法,感興趣的小伙伴可以了解下2026-05-05
今天小編就為大家分享一篇對python判斷ip是否可達的實例詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01