看了点算法的介绍,但是没有代码实现,不得要领。
求V2EX高手赐教。。
求V2EX高手赐教。。
1
kingxsp Jun 10, 2013
推荐pybloomfiltermmap库。
|
2
binux Jun 10, 2013
import hashlib
hash = hashlib.md5 bloom = 0 def check(str): global bloom str_hash = hash(str) if bloom & int(str_hash.hexdigest(), 16) == 256 ** str_hash.digest_size: return True bloom |= int(str_hash.hexdigest(), 16) return False |
4
C0VN Jun 11, 2013
过滤重复url
这样行不行? list( set( urls ) ) |