如何使用 Redis 快速实现布隆过滤器？

以下是使用 Redis 实现布隆过滤器的两种方案，结合原理说明和操作步骤：

---

方案一：手动实现（基于 Redis Bitmap）

原理

利用 Redis 的 SETBIT 和 GETBIT 操作位数组，结合多个哈希函数计算位置。

步骤

1. 确定参数

   • 预期元素数量 n
   • 可接受误判率 p
   • 计算位数组大小 m 和哈希函数数量 k：

     m = -(n * ln(p)) / (ln(2)^2)
     k = round(m/n * ln(2))
     

     （示例：n=1000, p=0.01 → m≈9585 bits, k≈7）

2. 选择哈希函数
   使用多个不同种子的哈希算法（如 MurmurHash3），或对同一哈希结果进行位移/取模。

3. 添加元素
   对每个元素计算 k 个哈希值，将对应位设为1：

   SETBIT key pos1 1
   SETBIT key pos2 1
   ...
   

4. 查询元素
   检查所有哈希位是否为1：

   GETBIT key pos1
   GETBIT key pos2
   ...
   

示例（Lua脚本保证原子性）

-- 添加元素
local key = KEYS[1]
local value = KEYS[2]
local m = tonumber(KEYS[3])  -- 位数组大小
local k = tonumber(KEYS[4])  -- 哈希函数数量for i=1,k dolocal hash = redis.call('HASH', value, i)  -- 假设HASH是自定义哈希函数local pos = hash % m + 1redis.call('SETBIT', key, pos, 1)
end
return 1

---

方案二：使用 RedisBloom 模块（推荐）

原理

Redis 官方模块，提供原生布隆过滤器命令，优化性能和误判率。

步骤

1. 安装 RedisBloom

   • 下载模块：https://github.com/RedisBloom/RedisBloom
   • 启动时加载：

     redis-server --loadmodule /path/to/redisbloom.so
     

2. 创建布隆过滤器

   BF.RESERVE my_filter 0.01 1000  # 误判率1%，预期元素1000
   

3. 添加元素

   BF.ADD my_filter "user123"
   

4. 查询元素

   BF.EXISTS my_filter "user123"  # 返回1（存在）或0（不存在）
   

---

方案对比

特性	手动实现（Bitmap）	RedisBloom 模块
依赖性	纯 Redis，无需额外安装	需安装 RedisBloom
性能	较低（需多次哈希计算）	高（优化过的底层实现）
误判率控制	需手动计算参数	自动优化参数
扩展性	手动调整位数组大小	支持动态扩容

---

注意事项

1. 误判率权衡：降低误判率需增大位数组或哈希函数数量，但会占用更多内存。
2. 哈希冲突：避免使用简单哈希（如 CRC32），推荐 MurmurHash3 等低碰撞算法。
3. 持久化：Redis 配置持久化策略（RDB/AOF）防止数据丢失。
4. 集群部署：RedisBloom 支持集群模式，手动实现需自行处理分片。

根据需求选择方案：快速验证可用手动实现，生产环境推荐 RedisBloom。