怎么判断是真Google的蜘蛛还是伪造user-agent的蜘蛛。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 4317 天前的主题，其中的信息可能已经有所发展或是发生改变。

想屏蔽掉那些假的爬虫。咋办呢！

蜘蛛

屏蔽掉

user

12 条回复 • 1970-01-01 08:00:00 +08:00

Cadina

2013-03-03 17:22:00 +08:00

http://www.iplists.com
善用搜索啊

liuxurong

2013-03-03 17:27:31 +08:00

@Cadina 感谢，好人.

liuxurong

2013-03-03 17:30:08 +08:00

@Cadina 似乎年代久远了点，很多IP没都有啊。

explon

2013-03-03 17:33:27 +08:00 via iPhone

判断客户端支持不支持 Flash 可以干掉大部分

liuxurong

2013-03-03 17:34:08 +08:00

@explon google真的蜘蛛也不支持Flash吧？..

keithl

2013-03-03 17:35:52 +08:00

reverse dns

explon

2013-03-03 19:33:48 +08:00 via iPhone

@liuxurong 屏蔽支持的啊

sobigfish

2013-03-03 20:21:57 +08:00

@explon 普通的curl会被v2ex服务器报400 Bad Request,加了ua就不会了，curl -A "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5"
curl哪传的过去是否有flash，你怎么判断的到？

liuxurong

2013-03-03 20:24:07 +08:00

@explon 我是防假蜘蛛，不是防真人類。假蜘蛛一樣不支持。

liuxurong

2013-03-03 20:24:18 +08:00

@explon 不过还是谢谢你。

swulling

2013-03-03 20:26:16 +08:00

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=80553

liuxurong

2013-03-03 20:36:59 +08:00

@swulling 终极解决方案。谢谢。