大家玩过爬虫吗？如果爬了一小会，就被封了 IP，那么这个 IP 以后过多久可以解封？还是说永远不解封了？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2876 天前的主题，其中的信息可能已经有所发展或是发生改变。

我主要想了解，如果做了一爬虫，跑了一会，被封了，然后必须换一个 IP 吗？

我就 2 个 vps 。要是都被封了，岂不是要去买代理服务器？

VPS

封

不解

爬

20 条回复 • 2017-01-12 20:02:17 +08:00

feng123456

2017-01-09 16:51:45 +08:00

大哥，爬虫一定要用网上的免费 ip 池啊。
另外 ip 解封时间是对方网站自己设置的，一般默认不超过 24 小时。

cute

2017-01-09 16:52:08 +08:00

有专门卖代理的

wyntergreg

2017-01-09 16:57:33 +08:00

跑一小会就被封了，你没设置间隔时间啊

被识别成恶意流量了吧

qa2080639

2017-01-09 17:21:08 +08:00

很多免费 ip 啊拿质量好的用。做好模拟

zhaixiaohu

2017-01-09 17:24:15 +08:00

很多公司都是用公有云，然后一个月换一次 ip ， ip 一次只买一个月的。

zhaixiaohu

2017-01-09 17:24:56 +08:00

你要是个人，摸清规律后，可以买按配置付费的那种，封了就重新买一个新的。

484A4B

2017-01-09 19:00:04 +08:00

可以试试我写的爬代理的爬虫

https://github.com/0xHJK/proxy-spider

GWesley

2017-01-09 19:07:19 +08:00

首先肯定需要弄个 ip 池
抓取间隔不要过短
抓取时间加入一定随机性

ericgui

2017-01-09 19:58:47 +08:00

@cute
@qa2080639
@zzycn2012 谢谢，我去试试 ip 池。菜鸟问题也能得到大家的回复，非常感谢！

scnace

2017-01-09 20:48:23 +08:00 via Android

你需要代理池～ site 搜一下 Github IP ProxyPool

ericgui

2017-01-09 20:50:58 +08:00

@scnace
@484A4B 已关注，正在研究，谢谢

scnace

2017-01-09 20:57:32 +08:00 via Android

@ericgui 其实这个也在我的 TODO list 里面…

mengskysama

2017-01-09 21:03:04 +08:00

http://www.66ip.cn/nmtq.php?getnum=&isp=0&anonymoustype=3&start=&ports=&export=&ipaddress=&area=0&proxytype=2&api=66ip

aitaii

2017-01-09 21:58:21 +08:00

爬虫的第一步,先爬代理池.

HmyBmny

2017-01-09 22:48:05 +08:00

应该很快就会解封的，试想一下如果一个办公室几十个人用同一个 WIFI ，因为某人恶意访问而将 IP 封掉会影响另外几十个人的。

ichubei

2017-01-09 23:03:21 +08:00 via Android

也可能永久封掉

ericgui

2017-01-10 09:06:24 +08:00

@HmyBmny 有道理哈，即便是国外，普通居民家里也是动态 IP 。所以我猜除了封 IP 可能还有什么别的方式鉴别是否是“上次那个爬虫”

ninestep

2017-01-10 09:43:46 +08:00

@ericgui 把 cookies 禁掉

ericgui

2017-01-10 21:05:26 +08:00

@ninestep 了解，谢谢！

xiaoshangmin

2017-01-12 20:02:17 +08:00 via iPhone

除了封 ip 会出现验证码之类的吗