如何用布隆过滤器过滤重复url，求Python代码实现。

[kenneth]

看了点算法的介绍，但是没有代码实现，不得要领。
求V2EX高手赐教。。

[kingxsp]

推荐pybloomfiltermmap库。

[binux]

import hashlib

hash = hashlib.md5
bloom = 0

def check(str):
global bloom
str_hash = hash(str)
if bloom & int(str_hash.hexdigest(), 16) == 256 ** str_hash.digest_size:
return True
bloom |= int(str_hash.hexdigest(), 16)
return False

[kenneth]

@binux 这段代码运行报错，能否show一个gist，最好有一个小demo，非常感谢。

[xavierskip]

过滤重复url

这样行不行？

list( set( urls ) )