加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

处理大数据运算的利器 — 布隆过滤器原理以及设计

发布时间:2020-12-14 04:56:53 所属栏目:大数据 来源:网络整理
导读:布隆过滤器 说到布隆过滤器千万别想到英雄联盟里面的布隆大叔.?我们今天认识的布隆过滤器是一个处理大数据问题的利器.?它可以进行粗略估计一个数据是否存 在 在该集合当中.如果想判断一个元素是不是在一个集合当中,一般想到的是将所有元素保存起来,然后通

布隆过滤器





说到布隆过滤器千万别想到英雄联盟里面的布隆大叔.?我们今天认识的布隆过滤器是一个处理大数据问题的利器.?它可以进行粗略估计一个数据是否存

在该集合当中.如果想判断一个元素是不是在一个集合当中,一般想到的是将所有元素保存起来,然后通过比较确定.?链表,树等等结构都是这种思

路. 但是随着集合中元素的增多,我们需要的存储空间越来越大.检索的速度也越来越慢.?效果不错的就是我们的哈希表,当然我们的布隆过滤器其实也

是使 用了我们的hash映射思想.?我们可以通过一个Hash函数将一个元素映射到一个位图当中,如果这个点被置为1,那么集合当中就是有她的.反之则没

有.这 就是布隆过滤器的基本思想.

但是我们都知道的哈希表是有哈希冲突的.?况且你是使用位处理的那么也就不存在Hash开链法这种优化方式了.?那么当你好几个数据同时映射到一个位

么办??? 那你就映射呗?我对于映射真的没有办法改变??但是布隆过滤器不会坐以待毙,如果这样我可不可以使用好几个Hash算法,然后让你映射不

同的 位置当你过来检验的时候,必须这几个位都被置为1,那样你才能认定这个数字是存在的.?当然这里都是有数学建模的基础的,然而我又不是很理

解...? 我就找到网上的一个图过来瞧瞧~

下图是布隆过滤器假正列概率p与位数大小m和集合中插入数据个数n的关系图.?假定Hash函数个数选取最优数目: K = (M/N)In



我们也看到了布隆过滤器是有缺陷的,他不够准确当数值足够大的时候误判率就会越来越大.?所以布隆过滤器只能够作为一个粗略的判断.我们目前为

止已经大概的了解到它的基本原理.?我们可以发现布隆过滤器的判断存在是不准确的.?但是它判断不存在一定是准确的.好了我们来缕一下布隆过滤器

的优缺点.


优点:相比于其他的数据结构,布隆过滤器在空间和时间方面都有巨大的优势.布隆过滤器存储空间和插入/查询时间都是常数.另外,Hash函数相互之间

没有关系,方便由硬件并行实现.?布隆过滤器不需要存储元素本身,在某些对保密要求非常严格的场合有优势.?布隆过滤器可以表示所有类型的数据,

其他任何数 据结构都不能.

缺点:?首先误判率是一定要提出来的,如果存入的元素数量增加,误判率就会增加.?但是如果元素数量过少,那还不如使用Hash表呢?对吧.

还有,布隆过滤器当中不能随便删除元素.?因为同一个位有可能有好几个数据标记了它,?如果涉及一个引用计数却又太复杂啦.

现在我们理解清楚布隆过滤器的原理,那么我们尝试实现一个最简单的布隆过滤器试一试!

代码实现:

#include"BitMap.h"
#include<string>


template<class K>
struct __HashFunc1
{
	static size_t BKDRHash(const char * str)
	{
		unsigned int seed = 131; // 31 131 1313 13131 131313
		unsigned int hash = 0;
		while (*str)
		{
			hash = hash * seed + (*str++);
		}
		return (hash & 0x7FFFFFFF);
	}

	size_t operator()(const K& key)
	{
		return  BKDRHash(key.c_str());
	}
};


template<class K>
struct __HashFunc2
{
	size_t SDBMHash(const char *str)
	{
		register size_t hash = 0;
		while (size_t ch = (size_t)*str++)
		{
			hash = 65599 * hash + ch;
			//hash = (size_t)ch + (hash << 6) + (hash << 16) - hash;  
		}
		return hash;
	}

	size_t operator()(const K& key)
	{
		return  SDBMHash(key.c_str());
	}
};


template<class K>
struct __HashFunc3
{
	size_t APHash(const char *str)
	{
		register size_t hash = 0;
		size_t ch;
		for (long i = 0; ch = (size_t)*str++; i++)
		{
			if ((i & 1) == 0)
			{
				hash ^= ((hash << 7) ^ ch ^ (hash >> 3));
			}
			else
			{
				hash ^= (~((hash << 11) ^ ch ^ (hash >> 5)));
			}
		}
		return hash;
	}

	size_t operator()(const K& key)
	{
		return  APHash(key.c_str());
	}
};


template<class K = string,class HashFunc1 = __HashFunc1<K>,class HashFunc2 = __HashFunc2<K>,class HashFunc3 = __HashFunc3<K>>
class BloomFilter
{
public:

	BloomFilter(size_t num)
		:_bm(num * 5),_bitSize(num * 5)
	{}

	void Set(const K& key)
	{
		size_t index1 = HashFunc1()(key);
		_bm.SetBit(index1);

		size_t index2 = HashFunc2()(key);
		_bm.SetBit(index2);

		size_t index3 = HashFunc3()(key);
		_bm.SetBit(index3);
	}

	bool Test(const K& key)
	{
		size_t index1 = HashFunc1()(key);
		if (_bm.TestBit(index1) == false)
		{
			return false;
		}

		size_t index2 = HashFunc2()(key);
		if (_bm.TestBit(index2) == false)
		{
			return false;
		}

		size_t index3 = HashFunc3()(key);
		if (_bm.TestBit(index3) == false)
		{
			return false;
		}

		//所有位置都为真. 但是它是不准确的.
		return true;
	}

private:
	BitMap _bm;
	size_t _bitSize;
};

void Test()
{
	BloomFilter<> T(4000000000);

	T.Set("12312312411231215151251251252151251");
	T.Set("12312312411231215151251251252151252");
	T.Set("12312312411231215151251251252151253");
	T.Set("12312312411231215151251251252151254");
	T.Set("12312312411231215151251251252151255");
	T.Set("12312312411231215151251251252151256");
	T.Set("12312312411231215151251251252151257");

	cout << T.Test("12312312411231215151251251252151251") << endl;
	cout << T.Test("12312312411231215151251251252151252") << endl;
	cout << T.Test("12312312411231215151251251252151253") << endl;
	cout << T.Test("12312312411231215151251251252151254") << endl;
	cout << T.Test("12312312411231215151251251252151255") << endl;
	cout << T.Test("12312312411231215151251251252151256") << endl;
	cout << T.Test("12312312411231215151251251252151257") << endl;

	system("pause");

}

用到的位图的代码在我的另外一个博客当中:? 位图的原理以及设计

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读