最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

redis stream 實(shí)現(xiàn)消息隊(duì)列的實(shí)踐

 更新時(shí)間:2022年08月10日 11:43:07   作者:愛(ài)碼猿  
本文主要介紹了redis stream 實(shí)現(xiàn)消息隊(duì)列的實(shí)踐,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

Redis5.0帶來(lái)了Stream類型。從字面上看是流類型,但其實(shí)從功能上看,應(yīng)該是Redis對(duì)消息隊(duì)列(MQ,Message Queue)的完善實(shí)現(xiàn)。

基于redis實(shí)現(xiàn)消息隊(duì)列的方式有很多:

  • PUB/SUB,訂閱/發(fā)布模式
  • 基于List的 LPUSH+BRPOP 的實(shí)現(xiàn)

redis 實(shí)現(xiàn)消息對(duì)列4中方法

發(fā)布訂閱

發(fā)布訂閱優(yōu)點(diǎn): 典型的一對(duì)的,所有消費(fèi)者都能同時(shí)消費(fèi)到消息。主動(dòng)通知訂閱者而不是訂閱者輪詢?nèi)プx。

發(fā)布訂閱缺點(diǎn): 不支持多個(gè)消費(fèi)者公平消費(fèi)消息,消息沒(méi)有持久化,不管訂閱者是否收到消息,消息都會(huì)丟失。

使用場(chǎng)景:微服務(wù)間的消息同步,如 分布式webSocker,數(shù)據(jù)同步等。

list 隊(duì)列

生產(chǎn)者通過(guò)lpush生成消息,消費(fèi)者通過(guò)blpop阻塞讀取消息。

**list隊(duì)列優(yōu)點(diǎn):**支持多個(gè)消費(fèi)者公平消費(fèi)消息,對(duì)消息進(jìn)行存儲(chǔ),可以通過(guò)lrange查詢隊(duì)列內(nèi)的消息。

**list隊(duì)列缺點(diǎn):**blpop仍然會(huì)阻塞當(dāng)前連接,導(dǎo)致連接不可用。一旦blpop成功消息就丟棄了,期間如果服務(wù)器宕機(jī)消息會(huì)丟失,不支持一對(duì)多消費(fèi)者。

zset 隊(duì)列

生產(chǎn)者通過(guò)zadd 創(chuàng)建消息時(shí)指定分?jǐn)?shù),可以確定消息的順序,消費(fèi)者通過(guò)zrange獲取消息后進(jìn)行消費(fèi),消費(fèi)完后通zrem刪除消息。

zset優(yōu)點(diǎn): 保證了消息的順序,消費(fèi)者消費(fèi)失敗后重新入隊(duì)不會(huì)打亂消費(fèi)順序。

zset缺點(diǎn): 不支持一對(duì)多消費(fèi),多個(gè)消費(fèi)者消費(fèi)時(shí)可能出現(xiàn)讀取同一條消息的情況,得通過(guò)加鎖或其他方式解決消費(fèi)的冪等性。

zset使用場(chǎng)景:由于數(shù)據(jù)是有序的,常常被用于延遲隊(duì)列,如 redisson的DelayQueue

Stream 隊(duì)列

Redis5.0帶來(lái)了Stream類型。從字面上看是流類型,但其實(shí)從功能上看,應(yīng)該是Redis對(duì)消息隊(duì)列(MQ,Message Queue)的完善實(shí)現(xiàn)。

參考kafka的思想,通過(guò)多個(gè)消費(fèi)者組和消費(fèi)者支持一對(duì)多消費(fèi),公平消費(fèi),消費(fèi)者內(nèi)維護(hù)了pending列表防止消息丟失。

提供消息ack機(jī)制。

基本命令

xadd 生產(chǎn)消息

往 stream 內(nèi)創(chuàng)建消息 語(yǔ)法為:

XADD key ID field string [field string …]

# * 表示自動(dòng)生成id redis會(huì)根據(jù)時(shí)間戳+序列號(hào)自動(dòng)生成id,不建議我們自己指定id
xadd stream1 * name zs age 23  

讀取消息

讀取stream內(nèi)的消息,這個(gè)并不是消費(fèi),只是提供了查看數(shù)據(jù)的功能,語(yǔ)法為:

XREAD [COUNT count] [BLOCK milliseconds] STREAMS key [key …] ID [ID …]

#表示從 stream1 內(nèi)取出一條消息,從第0條消息讀取(0表示最小的id)
xread count 1 streams stream1 0
#表示從 stream1 內(nèi) id=1649143363972-0 開(kāi)始讀取一條消息,讀取的是指定id的下一條消息
xread count 1 streams msg 1649143363972-0

#表示一直阻塞讀取最新的消息($表示獲取下一個(gè)生成的消息)
xread count 1 block 0 streams stream1 $ 

xrange stream - + 10

XRANGE key startID endID count

#表示從stream1內(nèi)取10條消息 起始位置為 -(最小ID) 結(jié)束位置為+(最大ID)
xrange stream1 - + 10 

xgroup 消費(fèi)者組

redis stream 借鑒了kafka的設(shè)計(jì),采用了消費(fèi)者和消費(fèi)者組的概念。允許多個(gè)消費(fèi)者組消費(fèi)stream的消息,每個(gè)消費(fèi)者組都能收到完整的消息,例如:stream內(nèi)有10條消息,消費(fèi)者組A和消費(fèi)者組B同時(shí)消費(fèi)時(shí),都能獲取到這10條消息。

每個(gè)消費(fèi)者組內(nèi)可以有多個(gè)消費(fèi)者消費(fèi),消息會(huì)平均分?jǐn)偨o各個(gè)消費(fèi)者,例如:stream有10條消息,消費(fèi)者A,B,C同時(shí)在同一個(gè)組內(nèi)消費(fèi),A接收到 1,4,7,10,B接收到 2,5,8,C接收到 3,6,9

創(chuàng)建消費(fèi)者組:

#消費(fèi)消息首先得創(chuàng)建消費(fèi)者組
# 表示為隊(duì)列 stream1 創(chuàng)建一個(gè)消費(fèi)者組 group1 從消息id=0(第一條消息)開(kāi)始讀取消息
xgroup create stream1 group1 0

#查詢stream1內(nèi)的所有消費(fèi)者組信息
xinfo groups stream1

xreadgroup 消費(fèi)消息

通過(guò)xreadgroup可以在消費(fèi)者組內(nèi)創(chuàng)建消費(fèi)者消費(fèi)消息

XREADGROUP group groupName consumerName [COUNT count] [BLOCK milliseconds] STREAMS key [key …] ID [ID …]

#創(chuàng)建消費(fèi)者讀取消息
#在group1消費(fèi)者組內(nèi)通過(guò)consumer1消費(fèi)stream1內(nèi)的消息,消費(fèi)1條未分配的消息 (> 表示未分配過(guò)消費(fèi)者的消息)
xreadgrup group group1 consumer1 count 1 streams stream1 > 

Pending 等待列表

通過(guò) xreadgroup 讀取消息時(shí)消息會(huì)分配給對(duì)應(yīng)的消費(fèi)者,每個(gè)消費(fèi)者內(nèi)都維護(hù)了一個(gè)Pending列表用于保存接收到的消息,當(dāng)消息ack后會(huì)從pending列表內(nèi)移除,也就是說(shuō)pending列表內(nèi)維護(hù)的是所有未ack的消息id

每個(gè)Pending的消息有4個(gè)屬性:

  • 消息ID
  • 所屬消費(fèi)者
  • IDLE,已讀取時(shí)長(zhǎng)
  • delivery counter,消息被讀取次數(shù)

XPENDING key group [start end count] [consumer]

#查看pending列表
# 查看group1組內(nèi)的consumer1的pending列表 - 表示最小的消息id + 表示最大的消息ID
xpending stream1 group1 - + 10 consumer1
# 查看group1組內(nèi)的所有消費(fèi)者pending類表
xpending stream1 group1 - + 10 

消息確認(rèn)

當(dāng)消費(fèi)者消費(fèi)了消息,需要通過(guò) xack 命令確認(rèn)消息,xack后的消息會(huì)從pending列表移除

XACK key gruopName ID

xack stream1 group1 xxx

消息轉(zhuǎn)移

當(dāng)消費(fèi)者接收到消息卻不能正確消費(fèi)時(shí)(報(bào)錯(cuò)或其他原因),可以使用 XCLAIM 將消息轉(zhuǎn)移給其他消費(fèi)者消費(fèi),需要設(shè)置組、轉(zhuǎn)移的目標(biāo)消費(fèi)者和消息ID,同時(shí)需要提供IDLE(已被讀取時(shí)長(zhǎng)),只有超過(guò)這個(gè)時(shí)長(zhǎng),才能被轉(zhuǎn)移。

通過(guò)xclaim轉(zhuǎn)移的消息只是將消息移入另一個(gè)消費(fèi)者的pending列表,消費(fèi)者并不能通過(guò)xreadgroup讀取到消息,只能通過(guò)xpending讀取到。

# 表示將ID為 1553585533795-1 的消息轉(zhuǎn)移到消費(fèi)者B消費(fèi),前提是消費(fèi)
XCLAIM stream1 group1 consumer1 3600000 1553585533795-1

信息監(jiān)控

redis提供了xinfo來(lái)查看stream的信息

#查看sream信息
xinfo stream steam1
#查詢消費(fèi)者組信息
xinfo groups group1 

#查詢消費(fèi)者信息
xinfo consumers consumer1

SpringBoot 整合

1 引入依賴

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

2 編寫消費(fèi)者

@Slf4j
@Component
public class EmailConsumer implements StreamListener<String, MapRecord<String,String,String>> {

    public final String streamName      = "emailStream";
    public final String groupName       = "emailGroup";
    public final String consumerName    = "emailConsumer";


    @Autowired
    private StringRedisTemplate stringRedisTemplate;

    @Override
    public void onMessage(MapRecord<String, String, String> message) {

        //log.info("stream名稱-->{}",message.getStream());
        //log.info("消息ID-->{}",message.getId());
        log.info("消息內(nèi)容-->{}",message.getValue());

        Map<String, String> msgMap = message.getValue();

        if( msgMap.get("sID")!=null && Integer.valueOf(msgMap.get("sID")) % 3 ==0 ){
            //消費(fèi)異常導(dǎo)致未能ack時(shí),消息會(huì)進(jìn)入pending列表,我們可以啟動(dòng)定時(shí)任務(wù)來(lái)讀取pending列表處理失敗的任務(wù)
            log.info("消費(fèi)異常-->"+message);
           return;
        }

        StreamOperations<String, String, String> streamOperations = stringRedisTemplate.opsForStream();
        //消息應(yīng)答
        streamOperations.acknowledge( streamName,groupName,message.getId() );

    }
	//我們可以啟動(dòng)定時(shí)任務(wù)不斷監(jiān)聽(tīng)pending列表,處理死信消息
}

3 配置redis

序列化配置

@EnableCaching
@Configuration
public class RedisConfig {


    /**
     * 設(shè)置redis序列化規(guī)則
     */
    @Bean
    public Jackson2JsonRedisSerializer<Object> jackson2JsonRedisSerializer(){
        Jackson2JsonRedisSerializer<Object> jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer<>(Object.class);

        ObjectMapper om = new ObjectMapper();
        om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        jackson2JsonRedisSerializer.setObjectMapper(om);

        return jackson2JsonRedisSerializer;
    }

    /**
     * RedisTemplate配置
     */
    @Bean
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory,
                                                       Jackson2JsonRedisSerializer jackson2JsonRedisSerializer) {

        // 配置redisTemplate
        RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>();
        redisTemplate.setConnectionFactory(redisConnectionFactory);
        RedisSerializer<?> stringSerializer = new StringRedisSerializer();

        // key序列化
        redisTemplate.setKeySerializer(stringSerializer);
        // value序列化
        redisTemplate.setValueSerializer(jackson2JsonRedisSerializer);

        // Hash key序列化
        redisTemplate.setHashKeySerializer(stringSerializer);
        // Hash value序列化
        redisTemplate.setHashValueSerializer(jackson2JsonRedisSerializer);

        redisTemplate.afterPropertiesSet();
        return redisTemplate;
    }

}

消費(fèi)者組和消費(fèi)者配置

@Slf4j
@Configuration
public class RedisStreamConfig {

    @Autowired
    private EmailConsumer emailConsumer;

    @Autowired
    private RedisTemplate<String,Object> redisTemplate;

    @Bean
    public StreamMessageListenerContainer.StreamMessageListenerContainerOptions<String, MapRecord<String,String,String>> emailListenerContainerOptions(){

        StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();

        return StreamMessageListenerContainer.StreamMessageListenerContainerOptions
                .builder()
                //block讀取超時(shí)時(shí)間
                .pollTimeout(Duration.ofSeconds(3))
                //count 數(shù)量(一次只獲取一條消息)
                .batchSize(1)
                //序列化規(guī)則
                .serializer( stringRedisSerializer )
                .build();
    }

    /**
     * 開(kāi)啟監(jiān)聽(tīng)器接收消息
     */
    @Bean
    public StreamMessageListenerContainer<String,MapRecord<String,String,String>> emailListenerContainer(RedisConnectionFactory factory,
                                                                 StreamMessageListenerContainer.StreamMessageListenerContainerOptions<String, MapRecord<String,String,String>> streamMessageListenerContainerOptions){

        StreamMessageListenerContainer<String,MapRecord<String,String,String>> listenerContainer = StreamMessageListenerContainer.create(factory,
                streamMessageListenerContainerOptions);

        //如果 流不存在 創(chuàng)建 stream 流
        if( !redisTemplate.hasKey(emailConsumer.streamName)){
            redisTemplate.opsForStream().add(emailConsumer.streamName, Collections.singletonMap("", ""));
            log.info("初始化stream {} success",emailConsumer.streamName);
        }

        //創(chuàng)建消費(fèi)者組
        try {
            redisTemplate.opsForStream().createGroup(emailConsumer.streamName,emailConsumer.groupName);
        } catch (Exception e) {
            log.info("消費(fèi)者組 {} 已存在",emailConsumer.groupName);
        }

        //注冊(cè)消費(fèi)者 消費(fèi)者名稱,從哪條消息開(kāi)始消費(fèi),消費(fèi)者類
        // > 表示沒(méi)消費(fèi)過(guò)的消息
        // $ 表示最新的消息
        listenerContainer.receive(
            Consumer.from(emailConsumer.groupName, emailConsumer.consumerName),
            StreamOffset.create(emailConsumer.streamName, ReadOffset.lastConsumed()),
            emailConsumer
        );


        listenerContainer.start();
        return listenerContainer;
    }

}

4.生產(chǎn)者生產(chǎn)消息

@GetMapping("/redis/ps")
public String redisPublish(String content,Integer count){

    StreamOperations streamOperations = redisTemplate.opsForStream();

    for (int i = 0; i < count; i++) {
        AtomicInteger num = new AtomicInteger(i);

        Map msgMap = new HashMap();
        msgMap.put("count", i);
        msgMap.put("sID", num);
        //新增消息
        streamOperations.add("emailStream",msgMap);
    }
    return "success";
}

參考文檔:

redis Stream 消息隊(duì)列

SpringBoot整合redis stream 實(shí)現(xiàn)消息隊(duì)列

到此這篇關(guān)于redis stream 實(shí)現(xiàn)消息隊(duì)列的實(shí)踐的文章就介紹到這了,更多相關(guān)redis stream 消息隊(duì)列內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Redis的Bitmap(位圖)詳解和命令演示

    Redis的Bitmap(位圖)詳解和命令演示

    Redis的位圖是由多個(gè)二進(jìn)制位組成的數(shù)組,數(shù)組中的每個(gè)二進(jìn)制位都有與之對(duì)應(yīng)的偏移量,用戶通過(guò)這些偏移量可以對(duì)位圖中指定的一個(gè)或多個(gè)二進(jìn)制位進(jìn)行操作,這篇文章主要給大家介紹了關(guān)于Redis的Bitmap(位圖)詳解和命令演示的相關(guān)資料,需要的朋友可以參考下
    2024-08-08
  • Redis?哈希Hash底層數(shù)據(jù)結(jié)構(gòu)詳解

    Redis?哈希Hash底層數(shù)據(jù)結(jié)構(gòu)詳解

    這篇文章主要介紹了Redis?哈希Hash底層數(shù)據(jù)結(jié)構(gòu)詳解的相關(guān)資料,需要的朋友可以參考下
    2022-08-08
  • Redis處理高并發(fā)機(jī)制原理及實(shí)例解析

    Redis處理高并發(fā)機(jī)制原理及實(shí)例解析

    這篇文章主要介紹了Redis處理高并發(fā)機(jī)制原理及實(shí)例解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值析,需要的朋友可以參考下
    2020-08-08
  • Linux下安裝Redis 6.0.5的實(shí)現(xiàn)

    Linux下安裝Redis 6.0.5的實(shí)現(xiàn)

    本文詳細(xì)介紹了在Linux系統(tǒng)下安裝Redis 6.0.5的步驟,包括安裝準(zhǔn)備、編譯安裝、啟動(dòng)服務(wù)、設(shè)置密碼和配置文件修改等,具有一定的參考價(jià)值,感興趣的可以了解一下
    2025-02-02
  • Redis使用命令行與多數(shù)據(jù)庫(kù)配置

    Redis使用命令行與多數(shù)據(jù)庫(kù)配置

    本文詳細(xì)講解了Redis使用命令行與多數(shù)據(jù)庫(kù)配置的方法,對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2022-03-03
  • Redis實(shí)戰(zhàn)之Lettuce的使用技巧詳解

    Redis實(shí)戰(zhàn)之Lettuce的使用技巧詳解

    Lettuce?是?Redis?的一款高級(jí)?Java?客戶端,與?Jedis?并列成為最熱門的客戶端之一,目前已成為?SpringBoot?2.0?版本默認(rèn)的?redis?客戶端。本文主要和大家講講Lettuce的使用技巧,感興趣的可以了解一下
    2022-12-12
  • Redis操作相關(guān)命令之查看、停止、啟動(dòng)命令

    Redis操作相關(guān)命令之查看、停止、啟動(dòng)命令

    這篇文章主要介紹了Redis操作相關(guān)命令之查看、停止、啟動(dòng)命令,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-09-09
  • Redis生成分布式系統(tǒng)全局唯一ID的實(shí)現(xiàn)

    Redis生成分布式系統(tǒng)全局唯一ID的實(shí)現(xiàn)

    在互聯(lián)網(wǎng)系統(tǒng)中,并發(fā)越大的系統(tǒng),數(shù)據(jù)就越大,數(shù)據(jù)越大就越需要分布式,本文主要介紹了Redis生成分布式系統(tǒng)全局唯一ID的實(shí)現(xiàn),感興趣的可以了解一下
    2021-10-10
  • Redis正確使用的十個(gè)技巧

    Redis正確使用的十個(gè)技巧

    Redis已經(jīng)走過(guò)了很長(zhǎng)的一段路,隨之而來(lái)的一系列最佳實(shí)踐,使得大多數(shù)人可以正確地使用Redis,下面我們將探索正確使用 Redis 的10個(gè)技巧。
    2015-10-10
  • Redis實(shí)現(xiàn)IP限流的2種方式舉例詳解

    Redis實(shí)現(xiàn)IP限流的2種方式舉例詳解

    通俗的說(shuō)限流就是限制一段時(shí)間內(nèi)用戶訪問(wèn)資源的次數(shù),減輕服務(wù)器壓力,這篇文章主要給大家介紹了關(guān)于Redis實(shí)現(xiàn)IP限流的2種方式,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下
    2024-08-08

最新評(píng)論

永善县| 临沭县| 巩留县| 贞丰县| 眉山市| 宁夏| 商都县| 藁城市| 昭觉县| 开化县| 新津县| 筠连县| 绥中县| 青冈县| 思南县| 抚宁县| 萝北县| 牡丹江市| 德保县| 红原县| 秦皇岛市| 邵武市| 定远县| 平果县| 江永县| 昌乐县| 宣汉县| 湛江市| 霍州市| 会泽县| 广东省| 讷河市| 绥江县| 海城市| 麻江县| 东海县| 原平市| 岑溪市| 称多县| 神农架林区| 莆田市|