V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
herozzm
V2EX  ›  问与答

请教一个无头版本 Chrome 问题

  •  
  •   herozzm · 139 天前 · 607 次点击
    这是一个创建于 139 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目标网站: http://ccgp-gansu.gov.cn 无头版本 Chrome 浏览仅返回<html><head></head><body></body></html>,和真实浏览器返回的内容完全不一样,请问大神问题出在什么地方?

    pelloz
        1
    pelloz  
       139 天前
    问题出在你不应该爬网站,更不应该爬 zf 网站。你这个问题或许监狱有狱友可以教你。
    ClericPy
        2
    ClericPy  
       139 天前
    好大一坨 JS... 还老是跳 dns 找不到 ip... 这是反爬还是别的
    ALTER2333
        3
    ALTER2333  
       139 天前 via Android
    假如无头是指无 User-Agent 头,那可能是服务器端做了防爬虫?对于非正常请求(无 UA )做特定的返回
    also24
        4
    also24  
       139 天前
    herozzm
        5
    herozzm  
    OP
       139 天前
    @ALTER2333 指的是 Headless Chrome
    herozzm
        6
    herozzm  
    OP
       139 天前
    找到原因了,网站封禁了 Headless Chrome 固定的 user-agent
    chinemds
        7
    chinemds  
       139 天前   ❤️ 1
    真刑啊
    wunonglin
        8
    wunonglin  
       139 天前
    @herozzm #6 刑了,问题解决了
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1024 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 21:35 · PVG 05:35 · LAX 14:35 · JFK 17:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.