V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
qwertty01
V2EX  ›  问与答

Selenium 爬虫被检测到怎么办?使用的是 ChromeDriver

  •  
  •   qwertty01 · 2017-11-21 14:47:43 +08:00 · 5855 次点击
    这是一个创建于 2319 天前的主题,其中的信息可能已经有所发展或是发生改变。

    使用普通的浏览器可以正常访问,使用 Selenium 会触发防爬机制。

    5 条回复    2017-11-21 15:57:49 +08:00
    qwertty01
        1
    qwertty01  
    OP
       2017-11-21 15:14:38 +08:00
    在线等。#-#
    p2pCoder
        2
    p2pCoder  
       2017-11-21 15:38:30 +08:00
    反爬 这东西 很复杂的,selenium 触发反爬,可能是 请求速度太快
    qwertty01
        3
    qwertty01  
    OP
       2017-11-21 15:55:08 +08:00
    @p2pCoder 我是这样操作的,使用程序通过 ChromeDriver 打开浏览器,然后自己手动输入网址访问,依然触发了防爬机制。
    rootsir
        4
    rootsir  
       2017-11-21 15:56:13 +08:00
    抓包呗,看正常浏览器和爬虫提交的 报文头区别在哪里
    p2pCoder
        5
    p2pCoder  
       2017-11-21 15:57:49 +08:00
    @qwertty01 可设置 的参数太多,我也不清楚,你最好看一下 访问的 url 链,首先确定是哪个 url,哪个页面,然后再确定哪个参数出问题
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3793 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 10:36 · PVG 18:36 · LAX 03:36 · JFK 06:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.