java開(kāi)發(fā)RocketMQ消息中間件原理基礎(chǔ)詳解

更新時(shí)間：2021年11月15日 11:27:42 作者：秋天的春

最近 RocketMQ 剛剛上生產(chǎn)環(huán)境，閑暇之時(shí)在這里做一些分享，主要目的是讓初學(xué)者能快速上手RocketMQ，有需要的朋友可以借鑒參考下，希望能夠有所幫助

RocketMQ 是什么

Github 上關(guān)于 RocketMQ 的介紹：
RcoketMQ 是一款低延遲、高可靠、可伸縮、易于使用的消息中間件。具有以下特性：

支持發(fā)布/訂閱（Pub/Sub）和點(diǎn)對(duì)點(diǎn)（P2P）消息模型
在一個(gè)隊(duì)列中可靠的先進(jìn)先出（FIFO）和嚴(yán)格的順序傳遞
支持拉（pull）和推（push）兩種消息模式
單一隊(duì)列百萬(wàn)消息的堆積能力
支持多種消息協(xié)議，如 JMS、MQTT 等
分布式高可用的部署架構(gòu),滿足至少一次消息傳遞語(yǔ)義
提供 docker 鏡像用于隔離測(cè)試和云集群部署
提供配置、指標(biāo)和監(jiān)控等功能豐富的 Dashboard

對(duì)于這些特性描述，大家簡(jiǎn)單過(guò)一眼就即可，深入學(xué)習(xí)之后自然就明白了。

專業(yè)術(shù)語(yǔ)

Producer

消息生產(chǎn)者，生產(chǎn)者的作用就是將消息發(fā)送到 MQ，生產(chǎn)者本身既可以產(chǎn)生消息，如讀取文本信息等。也可以對(duì)外提供接口，由外部應(yīng)用來(lái)調(diào)用接口，再由生產(chǎn)者將收到的消息發(fā)送到 MQ。

Producer Group

生產(chǎn)者組，簡(jiǎn)單來(lái)說(shuō)就是多個(gè)發(fā)送同一類消息的生產(chǎn)者稱之為一個(gè)生產(chǎn)者組。在這里可以不用關(guān)心，只要知道有這么一個(gè)概念即可。

Consumer

消息消費(fèi)者，簡(jiǎn)單來(lái)說(shuō)，消費(fèi) MQ 上的消息的應(yīng)用程序就是消費(fèi)者，至于消息是否進(jìn)行邏輯處理，還是直接存儲(chǔ)到數(shù)據(jù)庫(kù)等取決于業(yè)務(wù)需要。

Consumer Group

消費(fèi)者組，和生產(chǎn)者類似，消費(fèi)同一類消息的多個(gè) consumer 實(shí)例組成一個(gè)消費(fèi)者組。

Topic

Topic 是一種消息的邏輯分類，比如說(shuō)你有訂單類的消息，也有庫(kù)存類的消息，那么就需要進(jìn)行分類，一個(gè)是訂單 Topic 存放訂單相關(guān)的消息，一個(gè)是庫(kù)存 Topic 存儲(chǔ)庫(kù)存相關(guān)的消息。

Message

Message 是消息的載體。一個(gè) Message 必須指定 topic，相當(dāng)于寄信的地址。Message 還有一個(gè)可選的 tag 設(shè)置，以便消費(fèi)端可以基于 tag 進(jìn)行過(guò)濾消息。也可以添加額外的鍵值對(duì)，例如你需要一個(gè)業(yè)務(wù) key 來(lái)查找 broker 上的消息，方便在開(kāi)發(fā)過(guò)程中診斷問(wèn)題。

Tag

標(biāo)簽可以被認(rèn)為是對(duì) Topic 進(jìn)一步細(xì)化。一般在相同業(yè)務(wù)模塊中通過(guò)引入標(biāo)簽來(lái)標(biāo)記不同用途的消息。

Broker

Broker 是 RocketMQ 系統(tǒng)的主要角色，其實(shí)就是前面一直說(shuō)的 MQ。Broker 接收來(lái)自生產(chǎn)者的消息，儲(chǔ)存以及為消費(fèi)者拉取消息的請(qǐng)求做好準(zhǔn)備。

Name Server

Name Server 為 producer 和 consumer 提供路由信息。

RocketMQ 架構(gòu)

有四個(gè)集群，分別是 NameServer 集群、Broker 集群、Producer 集群和 Consumer 集群：

NameServer: 提供輕量級(jí)的服務(wù)發(fā)現(xiàn)和路由。每個(gè) NameServer 記錄完整的路由信息，提供等效的讀寫(xiě)服務(wù)，并支持快速存儲(chǔ)擴(kuò)展。

Broker: 通過(guò)提供輕量級(jí)的 Topic 和 Queue 機(jī)制來(lái)處理消息存儲(chǔ),同時(shí)支持推（push）和拉（pull）模式以及主從結(jié)構(gòu)的容錯(cuò)機(jī)制。

Producer：生產(chǎn)者，產(chǎn)生消息的實(shí)例，擁有相同 Producer Group 的 Producer 組成一個(gè)集群。

Consumer：消費(fèi)者，接收消息進(jìn)行消費(fèi)的實(shí)例，擁有相同 Consumer Group 的

Consumer 組成一個(gè)集群。

簡(jiǎn)單說(shuō)明一下圖中箭頭含義，從 Broker 開(kāi)始，Broker Master1 和 Broker Slave1 是主從結(jié)構(gòu)，它們之間會(huì)進(jìn)行數(shù)據(jù)同步，即 Date Sync。同時(shí)每個(gè) Broker 與
NameServer 集群中的所有節(jié)
點(diǎn)建立長(zhǎng)連接，定時(shí)注冊(cè) Topic 信息到所有 NameServer 中。

Producer 與 NameServer 集群中的其中一個(gè)節(jié)點(diǎn)（隨機(jī)選擇）建立長(zhǎng)連接，定期從 NameServer 獲取 Topic 路由信息，并向提供 Topic 服務(wù)的 Broker Master 建立長(zhǎng)連接，且定時(shí)向 Broker 發(fā)送心跳。Producer 只能將消息發(fā)送到 Broker master，但是 Consumer 則不一樣，它同時(shí)和提供 Topic 服務(wù)的 Master 和 Slave
建立長(zhǎng)連接，既可以從 Broker Master 訂閱消息，也可以從 Broker Slave 訂閱消息。

RocketMQ 集群部署模式

單 master 模式

也就是只有一個(gè) master 節(jié)點(diǎn)，稱不上是集群，一旦這個(gè) master 節(jié)點(diǎn)宕機(jī)，那么整個(gè)服務(wù)就不可用，適合個(gè)人學(xué)習(xí)使用。

多master 模式

多個(gè) master 節(jié)點(diǎn)組成集群，單個(gè) master 節(jié)點(diǎn)宕機(jī)或者重啟對(duì)應(yīng)用沒(méi)有影響。

優(yōu)點(diǎn)：所有模式中性能最高
缺點(diǎn)：?jiǎn)蝹€(gè) master 節(jié)點(diǎn)宕機(jī)期間，未被消費(fèi)的消息在節(jié)點(diǎn)恢復(fù)之前不可用，消息的實(shí)時(shí)性就受到影響。

注意：使用同步刷盤(pán)可以保證消息不丟失，同時(shí) Topic 相對(duì)應(yīng)的 queue 應(yīng)該分布在集群中各個(gè)節(jié)點(diǎn)，而不是只在某各節(jié)點(diǎn)上，否則，該節(jié)點(diǎn)宕機(jī)會(huì)對(duì)訂閱該 topic 的應(yīng)用造成影響。

多 master 多 slave 異步復(fù)制模式

在多 master 模式的基礎(chǔ)上，每個(gè) master 節(jié)點(diǎn)都有至少一個(gè)對(duì)應(yīng)的 slave。master
節(jié)點(diǎn)可讀可寫(xiě)，但是 slave 只能讀不能寫(xiě)，類似于 mysql 的主備模式。

優(yōu)點(diǎn)：在 master 宕機(jī)時(shí)，消費(fèi)者可以從 slave 讀取消息，消息的實(shí)時(shí)性不會(huì)受影響，性能幾乎和多 master 一樣。
缺點(diǎn)：使用異步復(fù)制的同步方式有可能會(huì)有消息丟失的問(wèn)題。