weylanshi / blogtalk

博客评论
0 stars 0 forks source link

布隆过滤器原理及使用 - 小石头记 #14

Open weylanshi opened 4 years ago

weylanshi commented 4 years ago

https://www.weypage.com/2020/02/21/redis/%E5%B8%83%E9%9A%86%E8%BF%87%E6%BB%A4%E5%99%A8%E5%8E%9F%E7%90%86%E5%8F%8A%E4%BD%BF%E7%94%A8/#more

什么是布隆过滤器?我们来看这么一个场景:目标网站有上千万个URL,如何判断某个URL是否已经访问过?使用DB存储的话,就是把每个URL存入DB,然后每次访问URL前执行 1slect id from table where url = 'xxxx' 但随着URL数据量增多,每次请求前都要访问DB一次,效率非常低。当然,也可以用redis的set结构存储URL,优于DB存储,但也同样存在一个问题:耗