V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
acoldfox
V2EX  ›  服务器

为啥搜狗的蜘蛛那么变态?

  •  
  •   acoldfox · 2017-12-16 13:53:37 +08:00 · 4926 次点击
    这是一个创建于 2294 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我发现搜狗的蜘蛛访问犹如 ddos,百度蜘蛛访问会自动识别你的带宽上限,自动调整速率,搜狗则不会,而且还经常换着各种 ua 来访问(不带 sogou 标识)。加大带宽也没用,搜狗蜘蛛潮涌般过来一会又占满了。而网站又需要借助 seo,这种情况真是敢怒不敢言呀。还是希望百度努力点,别让搜狗给占太多份额


    Mozilla/5.0 (Linux; U; Android 4.1.1; zh-CN; GT-N7100 Build/JRO03C) AppleWebKit/534.31 (KHTML, like Gecko) UCBrowser/9.3.0.321 U3/0.8.0 Mobile Safari/534.31

    123.126.113.164
    106.120.173.145
    4 条回复    2018-02-13 19:58:39 +08:00
    porwyn
        1
    porwyn  
       2017-12-16 14:36:20 +08:00
    一年了,百度 360 的权重都 1 了,搜狗还没收录
    liuminghao233
        2
    liuminghao233  
       2017-12-16 16:16:51 +08:00 via iPhone
    把 ip ban 掉就好了
    yezhiye
        3
    yezhiye  
       2018-02-13 18:36:14 +08:00 via Android
    ip 反查什么都没有,确定是搜狗的爬虫么
    acoldfox
        4
    acoldfox  
    OP
       2018-02-13 19:58:39 +08:00
    @yezhiye

    $ nslookup 123.126.113.164
    Server: 192.168.1.1
    Address: 192.168.1.1#53

    Non-authoritative answer:
    164.113.126.123.in-addr.arpa name = sogouspider-123-126-113-164.crawl.sogou.com.

    Authoritative answers can be found from:
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4180 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 05:28 · PVG 13:28 · LAX 22:28 · JFK 01:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.