littlekfc 最近的时间轴更新 littlekfc 最近的时间轴更新 |
littlekfcV2EX 第 27820 号会员，加入于 2012-10-08 21:23:17 +08:00 |
littlekfc 最近回复了
2013-04-11 16:06:46 +08:00 回复了 HiVPS 创建的主题 › VPS › 我们的新KVM VPS服务器即将上线，提供很多免费测试名额 |
最近在玩VPS，麻烦给我一个。[email protected]
2013-04-11 16:03:16 +08:00 回复了 soho176 创建的主题 › Python › 用python 做爬虫，抓取网站，在抓取的过程中会碰到重复的网址，随着抓取网址的越来越多，网址库越来越大，如果每次爬到网址都去网址库对比一下 是否重复，这样的结果就是效率越来越低了，有什么办法或者算法 提高过滤重复网址的效率？ |
用bloom filter有个问题，它是有误判的。比如新的一条url，在bloom filter里查得系统已经存在了。但这会有一定的概率是错误的。数据量还不大的话这个概率很小很小。但是随着记录越来越多，误判的概率会增大的。所以，如果业务要求不能漏url的话，bloom filter不适合，否则可以考虑。
Select Language