C++:位图和布隆过滤器
目录
（一）位图
位图的模拟实现
1.位图的定义
2.插入
3.删除
4.查找
（二）布隆过滤器
布隆过滤器的模拟实现
1.布隆过滤器定义
2.插入
3.查找
总结
一、位图
二、布隆过滤器（Bloom Filter）
三、对比
（一）位图
所谓位图，就是用每一位来存放某种状态，适用于海量数据，数据无重复的场景。通常是用 来判断某个数据存不存在的。
位图是一种用二进制位（0/1）存储数据的数据结构，每个位对应一个独立元素的状态（存在/不存在）。例如用第n位表示数字n是否存在，这种结构比传统数组节省3232倍内存（假设使用int类型存储）
位图的模拟实现
1.位图的定义
//非类型模板参数 N, 控制位图的比特位个数
template<size_t N>
class bitset
{
public:
bitset()
{
_v.resize(N / 7 + 1);
}
void set(size_t value) //插入数据
void reset(size_t value) //删除数据
bool test(size_t value) //确认数据是否存在
private:
vector<int> _v;
};2.插入
当插入数据时，将数据对应的比特位状态改为 1。因为是使用int类型（32个bit），所以需要/32.
void set(size_t value)
{
size_t x = value / 32;
size_t y = value % 32;
_v[x] |= (1 << y);
}3.删除
当插入数据时，将数据对应的比特位状态改为 0
void reset(size_t value)
{
size_t x = value / 32;
size_t y = value % 32;
_v[x] &= (~(1 << y));
}4.查找
检查数据是否存在，存在则会true，不存在为false。
bool test(size_t value)
{
size_t x = value / 32;
size_t y = value % 32;
// 等于0则为false ,非0 为true
return _v[x] & (1 << y);
}（二）布隆过滤器
布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的 一种紧凑型的、比较巧妙的概 率型数据结构，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，也可以节省大量的内存空间。
布隆过滤器的模拟实现
1.布隆过滤器定义
哈希函数
因为布隆过滤器大都针对字符串类型，所以这里的哈希函数也是针对string类
struct BKDRHash { size_t operator()(const string& s) { // BKDR size_t value = 0; for (auto ch : s) { value *= 31; value += ch; } return value; } }; struct APHash { size_t operator()(const string& s) { size_t hash = 0; for (long i = 0; i < s.size(); i++) { if ((i & 1) == 0) { hash ^= ((hash << 7) ^ s[i] ^ (hash >> 3)); } else { hash ^= (~((hash << 11) ^ s[i] ^ (hash >> 5))); } } return hash; } }; struct DJBHash { size_t operator()(const string& s) { size_t hash = 5381; for (auto ch : s) { hash += (hash << 5) + ch; } return hash; } };
内部结构
//N为插入元素的个数, X 为布隆过滤器长度
template<size_t N, size_t X = 5, class type = string
, class HashFunc1 = BKDRHash, class HashFunc2 = APHash, class HashFunc3 = DJBHash>
class BloomFilter
{
public:
void set(const type& value)
bool test(const type& value)
private:
bitset<X* N> _bs;
};2.插入
布隆过滤器和位图差不多，只不过一个数据有多个映射（将一个元素用多个哈希函数映射到一个位图中）
void set(const type& value)
{
size_t hash1 = HashFunc1()(value) % (X * N);
size_t hash2 = HashFunc2()(value) % (X * N);
size_t hash3 = HashFunc3()(value) % (X * N);
_bs.set(hash1);
_bs.set(hash2);
_bs.set(hash3);
}3.查找
bool test(const type& value)
{
size_t hash1 = HashFunc1()(value) % (X * N);
size_t hash2 = HashFunc2()(value) % (X * N);
size_t hash3 = HashFunc3()(value) % (X * N);
return _bs.test(hash1) && _bs.test(hash2) && _bs.test(hash3);
}总结
一、位图
1. 概念与实现
位图通过每个比特位表示一个数据的存在性（0/1），适用于海量数据的快速存在性判断3。例如，40亿个整数（约16GB）用位图仅需约500MB内存。2. 应用场景
- 数据去重：如统计40亿整数中不重复的数字。
- 快速查询：判断IP是否在黑名单中。
- 排序：对有限范围的整数进行非比较排序
二、布隆过滤器（Bloom Filter）
1. 概念与实现
布隆过滤器通过k个哈希函数将元素映射到多个位，若所有对应位为1则“可能存在”，否则“一定不存在”。牺牲一定准确性换取极高的空间效率。2. 应用场景
- 缓存穿透防护：拦截不存在的数据请求，保护数据库。
- 分布式系统：减少节点间冗余数据传输。
- 爬虫URL去重：避免重复抓取已处理的页面。
3. 优缺点
- 优点：空间效率高，查询时间O(K)(K为哈希函数的个数），适合海量数据。
- 缺点：误判率随元素增加而上升，且不支持删除（除非引入计数布隆过滤器）。
三、对比
特性 位图 布隆过滤器 数据范围 适用于整数且范围较小 支持任意数据类型 误判率 无 有（可调整哈希函数数量优化） 删除支持 直接修改位即可 需额外结构（如计数位图） 典型场景 精确存在性判断 允许误判的存在性预筛 混合优化方案：结合位图与布隆过滤器，例如用位图处理高频数据，布隆过滤器处理低频数据，提升整体性能。