對python操作kafka寫入json數(shù)據(jù)的簡單demo分享

更新時間：2018年12月27日 10:00:23 作者：Liu-YanLin

今天小編就為大家分享一篇對python操作kafka寫入json數(shù)據(jù)的簡單demo，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

如下所示：

安裝kafka支持庫pip install kafka-python

from kafka import KafkaProducer
import json
 
'''
 生產(chǎn)者demo
 向test_lyl2主題中循環(huán)寫入10條json數(shù)據(jù)
 注意事項：要寫入json數(shù)據(jù)需加上value_serializer參數(shù)，如下代碼
'''
producer = KafkaProducer(
       value_serializer=lambda v: json.dumps(v).encode('utf-8'),
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
       )
for i in range(10):
 data={
  "name":"李四",
  "age":23,
  "gender":"男",
  "id":i
 }
 producer.send('test_lyl2', data)
producer.close()

from kafka import KafkaConsumer
import json
 
'''
 消費者demo
 消費test_lyl2主題中的數(shù)據(jù)
 注意事項：如需以json格式讀取數(shù)據(jù)需加上value_deserializer參數(shù)
'''
 
 
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
       auto_offset_reset='earliest',value_deserializer=json.loads
       )
for message in consumer:
 print(message.value)

以上這篇對python操作kafka寫入json數(shù)據(jù)的簡單demo分享就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

模擬瀏覽器的Python爬蟲工具全面深入探索
Python爬蟲是獲取網(wǎng)頁信息的重要工具,但有時網(wǎng)站對爬蟲有限制,要求模擬瀏覽器行為,本文將深入探討如何使用Python模擬瀏覽器行為進行網(wǎng)絡數(shù)據(jù)抓取,我們將介紹相關工具和技術,提供詳細的示例代碼和解釋
2024-01-01
詳解python實現(xiàn)小波變換的一個簡單例子
這篇文章主要介紹了詳解python實現(xiàn)小波變換的一個簡單例子，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-07-07
python數(shù)學建模(SciPy+?Numpy+Pandas)
這篇文章主要介紹了python數(shù)學建模(SciPy+?Numpy+Pandas),文章基于python的相關資料緊接上一篇文章內(nèi)容展開主題詳情，需要的小伙伴可以參考一下
2022-07-07
Python探索之Metaclass初步了解
本文先簡單介紹了Python中的類，然后是主要內(nèi)容，涉及Metaclass的相關內(nèi)容，還是不錯的，這里分享給大家，供需要的朋友參考。
2017-10-10
Python多線程爬蟲實戰(zhàn)_爬取糗事百科段子的實例
下面小編就為大家分享一篇Python多線程爬蟲實戰(zhàn)_爬取糗事百科段子的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2017-12-12
python模型集成知識點總結
在本篇文章里小編給大家整理了一篇關于python模型集成知識點總結，有需要的朋友們可以學習參考下。
2021-08-08
保留已有python安裝Anaconda的方法推薦
在安裝Anaconda之前,有的已經(jīng)安裝過一個Python版本了,但是又不想刪除這個Python版本,該怎么辦呢??這篇文章主要給大家介紹了關于保留已有python安裝Anaconda的幾種法推薦,需要的朋友可以參考下
2023-12-12
Python實現(xiàn)識別圖片為文字的示例代碼
這篇文章主要為大家詳細介紹了Python如何不調(diào)用三方收費接口，照樣實現(xiàn)識別圖片為文字的功能。文中的示例代碼講解詳細，感興趣的可以了解一下
2022-08-08
Python繪制數(shù)據(jù)動態(tài)圖的方法詳解
這篇文章主要為大家詳細介紹了如何利用Python語言繪制好看的數(shù)據(jù)動態(tài)圖，文中的示例代碼講解詳細，感興趣的小伙伴可以跟隨小編一起動手嘗試一下
2022-07-07
記一次Django響應超慢的解決過程
這篇文章主要介紹了記一次Django響應超慢的解決過程，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-09-09