【数据结构与算法】什么是布隆过滤器?如何防止缓存穿透的问题?
发布日期:2021-06-29 15:36:08
浏览次数:2
分类:技术文章
本文共 681 字,大约阅读时间需要 2 分钟。
布隆过滤器(Bloom Filter)
背景
如果要经常判断1个元素是否存在,你会怎么做?
- 很容易想到使用哈希表(HashSet、HashMap),将元素作为key去查找
- 时间复杂度:O(1), 但是空间利用率不高,需要占用比较多的内存资源
但如果需要编写一个网络爬虫去爬10亿个网站数据,为了避免爬到重复的网站,如何判断某个网站是否爬过?
- 很显然HashSet、HashMap并不是非常好的选择
那么是否存在时间复杂低、占用内存较少的方案?
- 布隆过滤器(Bloom Filter)
布隆过滤器(Bloom Filter)
布隆过滤器是1970年由布隆提出,它是一个空间效率高的概率型的数据结构,可以用来告诉你:一个元素一定不存在或者可能存在;
优缺点:
- 优点:空间效率和查询时间都远远超过一般的算法
- 缺点:有一定的误判率、删除困难
它本质上是一个很长的二进制向量和一系列随机映射函数(Hash函数)
常见应用:
- 网页黑名单系统、垃圾邮件过滤系统、爬虫的网址判重系统、解决缓存穿透问题
布隆过滤器的原理
假设布隆过滤器由20位二进制、3个哈希函数组成,每个元素经过哈希函数处理都能生成一个索引位置;
- 添加元素:将每一个哈希函数生成的索引位置都设置为1;
- 查询元素是否存在:
- 如果有一个哈希函数生成的索引位置不为1,就代表不存在(100准确);
- 如果每一个哈希函数生成的索引位置都为1,就代表存在(存在一定的误判率);
- 添加、查询的时间复杂度都是O(k),k是哈希函数个数
布隆过滤器的误判率
加、查询的时间复杂度都是O(k),k是哈希函数个数
布隆过滤器的误判率
转载地址:https://codingchaozhang.blog.csdn.net/article/details/115430578 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
初次前来,多多关照!
[***.217.46.12]2024年04月25日 23时18分15秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
JAVA Lock锁
2019-04-29
JAVA 线程同步机制 synchronized
2019-04-29
MySQL 安装教程(无脑版)
2019-04-29
JAVA 简单实现UDP demo
2019-04-29
MySQL 事务--转账
2019-04-29
JAVA UDP简单实现实时发送消息
2019-04-29
IDEA 怎么删除一个Module
2019-04-29
JAVA 和MySQL使用JDBC连接
2019-04-29
JAVA 反射的性能测试
2019-04-29
HTML 初探
2019-04-29
成功关键在于此:如何创造一个有即时价值的最小化可行产品?
2019-04-29
终端大改造:只需五步,构建你的梦中情“端”
2019-04-29
你的代码“balance”怎么样?找到简洁性和可读性的平衡点
2019-04-29
中科院刘康:低资源环境下的事件知识抽取
2019-04-29
提高软件工程技能的关键技术,这些资源赶紧收藏起来
2019-04-29
走进数据科学:最好是通过比网课更好的方法
2019-04-29
机器学习背后的数学支柱,这5本书帮你搞定!
2019-04-29
AI革命第一步:最容易被忽略但必不可少的物联网
2019-04-29
2020年开发运维工具清单:选择开发运维工具堆栈吧
2019-04-29
效率提升法则:高效人士不会去做的4件事
2019-04-29