如何管理爬虫代理 IP

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2330 天前的主题，其中的信息可能已经有所发展或是发生改变。

1.代理 IP 池： https://github.com/qiyeboy/IPProxys 作者七夜的故事，他的书我买了，很不错的，要吐槽的是他在博客里说没女朋友，到书中就有了。明显欺骗观众 2.代理 IP 的自动化： http://www.kohn.com.cn/wordpress/?p=208#comment-1993 作者 kohn

代理

kohn

作者

自动化

2 条回复

shuizhengqi

2017-11-30 09:23:47 +08:00

没看懂你要说什么

Mrkon

2017-11-30 10:00:00 +08:00

@shuizhengqi
我想分享的是如何更好的使用代理 IP 池。语言表达不清楚，见谅。。。。原文一部分如下：
scrapy 提供下载中间件机制, 可以在请求队列与下载请求之间做一些动作. scrapy 本身也提供了一个 ProxyMiddleware, 但是它只能使用固定的 IP 地址, 由于免费的代理相当不稳定, 很多代理其实根本不能用. 因此需要对 ProxyMiddleware 改造使得这个 middleware 能够发现代理不可用, 并且在发现不可用的时候切换到另一个代理.