python3連接kafka模塊pykafka生產者簡單封裝代碼
更新時間：2019年12月23日 09:18:38 作者：清水漁漁
今天小編就為大家分享一篇python3連接kafka模塊pykafka生產者簡單封裝代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
1.1安裝模塊
pip install pykafka
1.2基本使用
# -* coding:utf8 *-
from pykafka import KafkaClient
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host)
# 生產者
topicdocu = client.topics['my-topic']
producer = topicdocu.get_producer()
for i in range(100):
print i
producer.produce('test message ' + str(i ** 2))
producer.stop()
1.3簡單封裝
class KafkaProduct():
def __init__(self,hosts,topic):
"""
初始化實例
:param hosts: 連接地址
:param topic:
"""
self.__client = KafkaClient(hosts=hosts)
self.__topic = self.__client.topics[topic.encode()]
def __set_topic(self, topic):
self.__topic = self.__client.topics[topic.encode()]
def set_topic(self, topic):
"""
設置topic
:param topic:
:return:
"""
self.__set_topic(topic)
def get_topics(self):
"""
獲取當前所有topic
:return:
"""
return self.__client.topics
def get_topic(self):
"""
獲取當前topic
:return:
"""
return self.__topic
def Producer(self):
"""
生產者對象
:return:
"""
with self.__topic.get_producer(delivery_reports=True) as producer:
next_data = ''
while True:
if next_data:
producer.produce(str(next_data).encode())
next_data = yield True
def send_data(self,datas):
"""
發(fā)送數據
:param datas:需要傳入的可迭代對象
:return:
"""
c = self.Producer()
next(c)
for i in datas:
c.send(i)
if __name__ == '__main__':
hosts = "1.2.3.4:9999,2.3.4.5:9090" #連接hosts
topic = "test_523"
K = KafkaProduct(hosts=hosts, topic=topic) #
#K.set_topic("test") #切換設置新的topic
K.get_topic() #獲取當前設置的topic
#K.get_topics() #獲取所有topic
data = range(10000) #要發(fā)送的可迭代對象
K.send_data(data)
以上這篇python3連接kafka模塊pykafka生產者簡單封裝代碼就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python CVXOPT模塊安裝及使用解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-08-08
最近無事看到了電腦桌面又想到了最近入門的pyqt5,所以下面這篇文章主要給大家介紹了關于如何使用pyqt實現桌面歌詞功能的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2022-07-07
這篇文章主要為大家介紹了自己制作python包并通過pip上傳pypi實現過程詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09
這篇文章主要介紹了詳解python爬取彈幕與數據分析,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
基于Python_腳本CGI、特點、應用、開發(fā)環(huán)境(詳解)
下面小編就為大家?guī)硪黄赑ython_腳本CGI、特點、應用、開發(fā)環(huán)境(詳解)。小編覺得挺不錯的，現在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-05-05
今天給大家?guī)淼氖顷P于Python函數的相關知識,文章圍繞著Python不定長參數展開,文中有非常詳細的介紹及代碼示例,需要的朋友可以參考下2021-06-06
這篇文章主要介紹了Django 后臺帶有字典的列表數據與頁面js交互實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
這篇文章主要介紹了python flask框架詳解,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-03-03
這篇文章主要介紹了python中使用OpenCV進行人臉檢測的例子,需要的朋友可以參考下2014-04-04
這篇文章主要介紹了Windows下Sqlmap環(huán)境安裝,本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-08-08