快捷導(dǎo)航

redis中的bitmap你了解嗎

更新時間：2022年03月22日 15:23:29 作者：或非與

這篇文章主要為大家詳細(xì)介紹了redis中的bitmap，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助

1、BitMap是什么

通過一個bit位來表示某個元素對應(yīng)的值或者狀態(tài),其中的key就是對應(yīng)元素本身。我們知道8個bit可以組成一個Byte，所以bitmap本身會極大的節(jié)省儲存空間。2^32次方40億數(shù)據(jù)只需要500M內(nèi)存，需要內(nèi)存少了8倍

2、setbit命令介紹

setbit key offset value
 #設(shè)置bitmapkey為20220328  uid為100的用戶已簽到1
setbit  20220320  100 1 
setbit  20220320  200 1
 setbit  20220321  100 1
setbit  20220321  300 1
  getbit 20220320  100  #返回1,說明這個用戶已簽到了
  bitcount 20220320  #獲取bitmap數(shù)量

bitmap的坑

127.0.0.1:6400> setbit bittest 100 1 #設(shè)置不存在的offset返回0
(integer) 0
127.0.0.1:6400> setbit bittest 100 1 #設(shè)置已存在的offset返回1
(integer) 1

setbit maxKey 4000000000 1 #直接弄了你600多M內(nèi)存

/**
     * 布隆過濾器bloom Filter
     * 1.百萬分之一的概率哈希沖突,所以有存在的不一定存在，但是不存在的百分百不存在
     * 2.不能刪除,刪除的時候不能簡單的直接置為0,可能會影響其他元素的判斷,其實問題不大一般生產(chǎn)數(shù)據(jù)也不會刪除的,都是軟刪除
     * 3.新增數(shù)據(jù)時候?qū)懭隻loom Filter
     * 4.2^32次方40億數(shù)據(jù)內(nèi)存占用才600M,超級省內(nèi)存,查找速度非?？?160M內(nèi)存可以在千萬級數(shù)據(jù)做到1%的誤判
     * 5.bitmap根據(jù)offset去申請內(nèi)存的,所以要省內(nèi)存的情況要限制offset值
     */
    public function bloomAction(){
        $t1 = time();
         for($i=0;$i<99;$i++){
            $bl = new BloomFilter();
            //$str = "1https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".time();
            $str = "https://dasda.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".mt_rand(1,99999999);
            p($str);
             $res1 = $bl->JSHash($str);//兩次哈希3s,md5哈希重復(fù)的概率是百萬分之一
             p($res1);
        }
        //p($res);
        $t2 = time();
        echo $t2-$t1;
    }
    /**
     * 布隆過濾器初始化 bloom Filter 執(zhí)行 php  index.php "index/demo/loadDb2bloom"
     */
    public function isExistBloomAction(){
        $redis = redisCursor();
        $email = input("email","","trim");
        $tel   = input("tel","");
         $result = false;
        $msg    = "";
        if(filter_var($email,FILTER_VALIDATE_EMAIL)){
            $key1  = "bloom_user_email";
            $offset = BloomFilter::JSHash($email);
            $result = $redis->getbit($key1,$offset);
            $msg = $email;
        }elseif($tel){
            $key2  = "bloom_user_telephone";
            $offset = BloomFilter::JSHash($tel);
            $result = $redis->getbit($key2,$offset);
            $msg = $tel;
        }
         $result?apiSuccess($msg.",已存在"):apiError($msg.",不存在");
    }
    /**
     * 布隆過濾器初始化 bloom Filter 執(zhí)行 php  index.php "index/demo/loadDb2bloom"
     */
    public function loadDb2bloomAction(){
        $time1 = time();
        $redis = redisCursor();
         $key1 = "bloom_user_email";
        $key2 = "bloom_user_telephone";
         //setbit() offset 必須是數(shù)字,value必須是1或0
        //$redis->setbit($key,30,1);
        $table  = "user";
        $pkid   = "id";
        $field1 = "email";
        $field2 = "telephone";
         $maxid = Db::name($table)->max($pkid);
         $size  = 5000;
        $page  = ceil($maxid/$size);
         for($i=0;$i<$page;$i++){
            $start = $i*$size;
            $where = " $pkid between ".$start."  and ".($start+$size);
            $res = Db::name($table)->where($where)->field("$field1,$field2")->select();
             if($res){//同步到bitmap
                foreach($res as $k=>$v){
                    //布隆過濾器  1.存在的不一定存在, 2.不存在的100%不存在(原因,哈希沖突可能用100W分之一的可能重復(fù))
                    //所以注冊的時候判斷不存在的,百分百可以注冊，存在的可以查詢一下數(shù)據(jù)庫是否真的不存在
                     $value1 = BloomFilter::JSHash($v["$field1"]);
                    $value2 = BloomFilter::JSHash($v["$field2"]);
                     $redis->setbit($key1,$value1,1);//email去重
                    $redis->setbit($key2,$value2,1);//mobile去重
                }
            }
             $time2 = time();
            echo $where." 消耗時間 ".($time2-$time1).PHP_EOL;
        }
         $time3 = time();
        echo " 總消耗時間 ".($time3-$time1).PHP_EOL;
    }

<?php
 class BloomFilter
{
    /**
     *  下面的哈希函數(shù)隨便用一個都行,都是把字符串轉(zhuǎn)換成數(shù)字
     */
     /**
     * hash方法類
     * 由Justin Sobel編寫的按位散列函數(shù)
     * update：Denny
     * 返回之前做了內(nèi)存限制在160M,超過10億的哈希后的數(shù)值,把它限制在10億內(nèi),此時1000W的數(shù)據(jù)可做到1%誤判,內(nèi)存不差這600多M的話就別限制了
     * 因為redis的bitmap申請內(nèi)存是看offset申請內(nèi)存的,setbit mykey 400000000 1，這樣直接申請了600M內(nèi)存
     */
    public static function JSHash($string, $limitMemory=true,$len = null)
    {
        $hash = 1315423911;
        $len || $len = strlen($string);
         for($i = 0; $i < $len; $i++)
        {
            $hash ^= (($hash << 5) + ord($string[$i]) + ($hash >> 2));
        }
         $hashNum = ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
         //為了節(jié)省內(nèi)存,超過10億就對半拆,10億,這時候大約是130M內(nèi)存占用,千萬級數(shù)據(jù)可以做到1%誤判率,內(nèi)存足夠可以不用判斷,直接生成就行了
        //如果數(shù)據(jù)過4000W的話不用限制了,因為生成的數(shù)據(jù)最大也是2^32次方40多億,此時內(nèi)存占用大概在600M封頂了
        if($limitMemory){
            if($hashNum>4000000000){
                $hashNum = intval($hashNum/5);
            }elseif($hashNum>3000000000){
                $hashNum = intval($hashNum/4);
            }elseif($hashNum>2000000000){
                $hashNum = intval($hashNum/3);
            }
        }
         return $hashNum;
    }
}