查日志发现有不少 IP 会隔 3 分钟抓取一次网站首页，不知道是干什么的

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 3439 天前的主题，其中的信息可能已经有所发展或是发生改变。

蛮多这种IP，每三分钟访问一次网站首页

很奇怪，不知道是干什么的？agent里也不写清楚，感觉是在检测我的网站有没有当机？
大家有遇到这种情况么？

5 条回复 • 2014-12-03 20:23:16 +08:00

kslr

2014-12-03 14:14:17 +08:00

adsl 爬虫吧

zhs227

2014-12-03 15:51:15 +08:00

是个什么站，有没有什么在线时间与等级挂钩，积分换内容之类的。

saber000

2014-12-03 15:51:37 +08:00

应该是监控,像阿里云这样的服务商都能设置这种监控.

wisdom

2014-12-03 19:14:32 +08:00

监控爬虫

onlyice

2014-12-03 20:23:16 +08:00

3 分钟一次 HEAD，10 分钟一次 GET，不像是做什么坏事