快捷導(dǎo)航

Redis中HyperLogLog的使用小結(jié)

更新時(shí)間：2025年05月09日 11:22:47 作者：BirdMan98

Redis 的 HyperLogLog 是一種概率性數(shù)據(jù)結(jié)構(gòu),用于統(tǒng)計(jì)唯一元素的數(shù)量（基數(shù)）,本文主要介紹了Redis中HyperLogLog的使用小結(jié),感興趣的可以了解一下

Redis 的 HyperLogLog 是一種概率性數(shù)據(jù)結(jié)構(gòu)，用于統(tǒng)計(jì)唯一元素的數(shù)量（基數(shù)），比如你想知道一個(gè)網(wǎng)站有多少獨(dú)立訪問用戶（UV）。它的主要優(yōu)點(diǎn)是：內(nèi)存占用極小，無論你添加多少數(shù)據(jù)，它通常只占用 12KB 的內(nèi)存。

下面是 HyperLogLog 的詳細(xì)講解：

?? 一、HyperLogLog 是什么？

HyperLogLog 是一種基數(shù)估計(jì)算法，它可以用來估算一個(gè)集合中不同元素的數(shù)量（Cardinality）。和 Set 不同，Set 會(huì)存儲(chǔ)所有元素，而 HyperLogLog 并不會(huì)保存具體的數(shù)據(jù)，只保存一種統(tǒng)計(jì)狀態(tài)。

? 優(yōu)點(diǎn)：可以統(tǒng)計(jì)大規(guī)模唯一元素?cái)?shù)量，內(nèi)存使用極低
? 缺點(diǎn)：不是精確統(tǒng)計(jì)，有誤差范圍 ±0.81%

??? 二、使用方法

1. 添加數(shù)據(jù)

PFADD key element [element ...]
PFADD myloglog user1 user2 user3

2. 查詢基數(shù)

PFCOUNT key [key ...]
PFCOUNT myloglog

3. 合并多個(gè) HyperLogLog

PFMERGE destkey sourcekey1 [sourcekey2 ...]
PFMERGE totalLog userLog1 userLog2

?? 三、實(shí)際示例

# 添加一些用戶ID
PFADD uv:20250414 user1 user2 user3 user4 user5

# 查詢今天的 UV
PFCOUNT uv:20250414
# 返回 5

# 添加重復(fù)的用戶 ID（不會(huì)重復(fù)計(jì)數(shù)）
PFADD uv:20250414 user1 user2

# 再查一次
PFCOUNT uv:20250414
# 仍然是 5

?? 四、原理簡(jiǎn)要（非必須了解）

HyperLogLog 基于概率算法，核心思想是：
哈希每個(gè)元素，觀察哈希值的前綴中連續(xù)0的最大長(zhǎng)度，利用這個(gè)統(tǒng)計(jì)信息估算基數(shù)。

哈希函數(shù)讓輸入隨機(jī)分布
長(zhǎng)連續(xù) 0 出現(xiàn)的概率很低，說明數(shù)據(jù)多
Redis 將結(jié)果分散到 2^14（16,384）個(gè)桶中，提高精度

?? 五、適用場(chǎng)景

網(wǎng)站 UV 統(tǒng)計(jì)（每天、每小時(shí)用戶訪問數(shù)）
活躍用戶數(shù)統(tǒng)計(jì)
數(shù)據(jù)去重統(tǒng)計(jì)但不需要精確結(jié)果的場(chǎng)合

?? 六、注意事項(xiàng)

無法獲取添加了哪些元素（它不存數(shù)據(jù)）
是估算值（不是精確值），精度誤差為 ±0.81%
永遠(yuǎn)只占用約 12KB 的內(nèi)存（精確控制內(nèi)存使用）

?? 七、與 Set 對(duì)比

項(xiàng)目	Set	HyperLogLog
精度	精確	估算（±0.81%）
內(nèi)存	隨數(shù)據(jù)增大	恒定約 12KB
支持去重計(jì)數(shù)	?	?（基于概率）
支持元素查看	?	?（不存數(shù)據(jù)）
使用場(chǎng)景	數(shù)據(jù)可控小集合	超大規(guī)模數(shù)據(jù)統(tǒng)計(jì)