最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Java實現(xiàn)布隆過濾器的方法步驟

 更新時間:2018年11月05日 14:27:56   作者:小草莓子桑  
布隆過濾器是可以用于判斷一個元素是不是在一個集合里,并且相比于其它的數據結構,布隆過濾器在空間和時間方面都有巨大的優(yōu)勢。下面這篇文章主要給大家介紹了關于Java實現(xiàn)布隆過濾器的相關資料,需要的朋友可以參考下

前言

記得前段時間的文章么?redis使用位圖法記錄在線用戶的狀態(tài),還是需要自己實現(xiàn)一個IM在線用戶狀態(tài)的記錄,今天來講講另一方案,布隆過濾器

布隆過濾器的作用是加快判定一個元素是否在集合中出現(xiàn)的方法。因為其主要是過濾掉了大部分元素間的精確匹配,故稱為過濾器。

布隆過濾器

在日常生活工作,我們會經常遇到這的場景,從一個Excel里面檢索一個信息在不在Excel表中,還記得被CTRL+F支配的恐懼么,不扯了,軟件開發(fā)中,一般會使用散列表來實現(xiàn),Hash Table也叫哈希表,哈希表的優(yōu)點是快速準確,缺點是浪費儲存空間,我們這個場景,儲存登錄的userId到哈希表,當用戶規(guī)模十分巨大的時候,哈希表的儲存效率低的問題就顯示出來了,今天介紹一種數學工具:布隆過濾器,它只需要哈希表1/8到1/4的大小就能解決同樣的問題。

背書中

布隆過濾器(Bloom Filter)是由伯頓·布隆(Burton Bloom)于1970年提出來的,它實際上是一個很長的二進制向量和一系列隨機映射函數。

原理

使用我們這個場景,來講原理吧,假設我們的個人網站同時在線人數達到1億(意淫一下),要存儲這一億人的在線狀態(tài),先構建一個16億比特位即兩億字節(jié)的向量,然后把這16億個比特位都記為0。對于每一個登錄用的userId,使用8個不同的算法產出8個不同信息指紋,在用一個算法把這8個信息隱身到這16億個比特位的8個位置上,把這8個位置都設置成1,這樣就構建成了一個記錄一億用戶在線狀態(tài)的布隆過濾器。


1億在線用戶的布隆過濾器

檢索就是同樣的原理,使用相同的算法對要檢索的userId產生8個信息指紋,然后在看這八個信息指紋在這16億比特位對應的值是否為1,都為1就說明這個userId在線,下面就用java代碼來實現(xiàn)一個布隆過濾器。

Java實現(xiàn)布隆過濾器

先實現(xiàn)一個簡單的布隆過濾器

package edu.se;

import java.util.BitSet;

/**
 * @author ZhaoWeinan
 * @date 2018/10/28
 * @description
 */
public class BloomFileter {

 //使用加法hash算法,所以定義了一個8個元素的質數數組
 private static final int[] primes = new int[]{2, 3, 5, 7, 11, 13, 17, 19};
 //用八個不同的質數,相當于構建8個不同算法
 private Hash[] hashList = new Hash[primes.length];
 //創(chuàng)建一個長度為10億的比特位
 private BitSet bits = new BitSet(256 << 22);

 public BloomFileter() {
 for (int i = 0; i < primes.length; i++) {
  //使用8個質數,創(chuàng)建八種算法
  hashList[i] = new Hash(primes[i]);
 }
 }

 //添加元素
 public void add(String value) {
 for (Hash f : hashList) {
  //算出8個信息指紋,對應到2的32次方個比特位上
  bits.set(f.hash(value), true);
 }
 }

 //判斷是否在布隆過濾器中
 public boolean contains(String value) {
 if (value == null) {
  return false;
 }
 boolean ret = true;
 for (Hash f : hashList) {
  //查看8個比特位上的值
  ret = ret && bits.get(f.hash(value));
 }
 return ret;
 }

 //加法hash算法
 public static class Hash {

 private int prime;

 public Hash(int prime) {
  this.prime = prime;
 }

 public int hash(String key) {
  int hash, i;
  for (hash = key.length(), i = 0; i < key.length(); i++) {
  hash += key.charAt(i);
  }
  return (hash % prime);
 }
 }

 public static void main(String[] args) {

 BloomFileter bloomFileter = new BloomFileter();
 System.out.println(bloomFileter.contains("5324512515"));
 bloomFileter.add("5324512515");

 //維護1億個在線用戶
 for (int i = 1 ; i < 100000000 ; i ++){
  bloomFileter.add(String.valueOf(i));
 }

 long begin = System.currentTimeMillis();
 System.out.println(begin);
 System.out.println(bloomFileter.contains("5324512515"));
 long end = System.currentTimeMillis();
 System.out.println(end);
 System.out.println("判斷5324512515是否在線使用了:" + (begin - end));
 }
}

這段代碼是構建了一個10億位的bitSet,然后把一億個userId加入到了我們的布隆過濾器中,最近判斷5324512515這個userId是否登錄,打出代碼的執(zhí)行時間


維護了1億個userId以后檢索5324512515是否登錄,代碼執(zhí)行時間很短

在讓我們來看看內存占用的情況


jvm整個的內存情況

再來看看BloomFileter這個類的實例,就占用了100多MB

實例的大小

看來布隆過濾器對于儲存的效率確實很高

布隆過濾器的誤識別問題

布隆過濾器的好處在于快速、省空間,但是有一定的誤識別率,這個概率很小,要計算出現(xiàn)誤識別的概率并不難,下面貼一段書上的話

假定布隆過濾器有m比特,里面有n個元素,每個元素對應k個信息指紋的hash函數,在這個布隆過濾器插入一個元素,那么比特位被設置成1的概率為1/m,它依然為0的概率為1-1/m,那么k個哈希函數都沒有把他設置成1的概率為1-1/m的k次方,一個比特在插入了n個元素后,被設置為1的概率為1減1-1/m的kn次方,最后書上給出了一個公式,在這里就不貼了,就貼一個表吧,是m/n比值不同,以及K分別為不同的值得情況下的假陽性概率:


書上的表,直接拍下來的

書上的表,直接拍下來的

布隆過濾器就為大家說到這里,歡迎大家來交流,指出文中一些說錯的地方,讓我加深認識。

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對腳本之家的支持。

相關文章

  • maven項目打包如何去掉不需要的module

    maven項目打包如何去掉不需要的module

    文章總結:在my-project工程依賴my-core和my-common,且my-project在總工程AAA中時,建議通過以下兩種方案優(yōu)化打包流程:1.?使用pom區(qū)分,重新編寫pom文件,并指定需要重新編譯的工程到modules中,然后在編譯時指定pom文件;
    2024-12-12
  • 為什么 Java 8 中不需要 StringBuilder 拼接字符串

    為什么 Java 8 中不需要 StringBuilder 拼接字符串

    java8中,編輯器對“+”進行了優(yōu)化,默認使用StringBuilder進行拼接,所以不用顯示的使用StringBuilder了,直接用“+”就可以了。下面我們來詳細了解一下
    2019-05-05
  • springBoot2.6.2自動裝配之注解源碼解析

    springBoot2.6.2自動裝配之注解源碼解析

    對于springboot個人認為它就是整合了各種組件,然后提供對應的自動裝配和啟動器(starter),基于這個流程去實現(xiàn)一個定義的裝配組件,下面這篇文章主要給大家介紹了關于springBoot2.6.2自動裝配之注解源碼解析的相關資料,需要的朋友可以參考下
    2022-01-01
  • Java數組高級算法與Arrays類常見操作小結【排序、查找】

    Java數組高級算法與Arrays類常見操作小結【排序、查找】

    這篇文章主要介紹了Java數組高級算法與Arrays類常見操作,結合實例形式總結分析了Java數組常見的排序算法、查找算法相關原理、實現(xiàn)與使用技巧,需要的朋友可以參考下
    2019-03-03
  • Spring Boot項目如何同時支持HTTP和HTTPS協(xié)議的實現(xiàn)

    Spring Boot項目如何同時支持HTTP和HTTPS協(xié)議的實現(xiàn)

    這篇文章主要介紹了Spring Boot項目如何同時支持HTTP和HTTPS協(xié)議的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2019-10-10
  • SpringBoot配置數據庫密碼加密的方法

    SpringBoot配置數據庫密碼加密的方法

    由于系統(tǒng)安全的考慮,配置文件中不能出現(xiàn)明文密碼的問題,本文就給大家詳細介紹下springboot配置數據庫密碼加密的方法,下面話不多說了,來一起看看詳細的介紹吧,需要的朋友可以參考下
    2023-08-08
  • Spring Boot中使用LDAP來統(tǒng)一管理用戶信息的示例

    Spring Boot中使用LDAP來統(tǒng)一管理用戶信息的示例

    本篇文章主要介紹了Spring Boot中使用LDAP來統(tǒng)一管理用戶信息的示例,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-01-01
  • 搭建公司私有MAVEN倉庫的方法

    搭建公司私有MAVEN倉庫的方法

    這篇文章主要介紹了搭建公司私有MAVEN倉庫的方法,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-11-11
  • 雙token實現(xiàn)token超時策略示例

    雙token實現(xiàn)token超時策略示例

    用于restful的app應用無狀態(tài)無sesion登錄示例,需要的朋友可以參考下
    2014-02-02
  • SpringCloud?Feign請求頭刪除修改的操作代碼

    SpringCloud?Feign請求頭刪除修改的操作代碼

    這篇文章主要介紹了SpringCloud?Feign請求頭刪除修改,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2022-03-03

最新評論

台南市| 融水| 双江| 古丈县| 吴桥县| 萝北县| 措美县| 萨嘎县| 富裕县| 绥芬河市| 巧家县| 米林县| 江北区| 香格里拉县| 山东| 宣武区| 沙洋县| 太原市| 濮阳市| 宝鸡市| 兴山县| 云林县| 中方县| 安康市| 桓台县| 思茅市| 辛集市| 婺源县| 衡水市| 武川县| 通辽市| 大丰市| 邳州市| 阿荣旗| 贵德县| 鹤庆县| 治县。| 青川县| 上犹县| 远安县| 海安县|