V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cxy1234
V2EX  ›  程序员

数据采集遇到困难了

  •  
  •   cxy1234 · 2020-05-24 08:47:34 +08:00 · 2988 次点击
    这是一个创建于 1430 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目标网站是,后台返回接口,前端渲染。现在需要爬取 渲染后的样式及数据,除了用 selenium 还有啥其他办法么?

    8 条回复    2020-05-25 10:21:17 +08:00
    jugelizi
        1
    jugelizi  
       2020-05-24 08:48:46 +08:00
    node
    patx
        2
    patx  
       2020-05-24 09:47:12 +08:00 via Android
    无头浏览器 puppeteer
    siknet
        3
    siknet  
       2020-05-24 11:01:12 +08:00 via Android
    火车浏览器
    gz911122
        4
    gz911122  
       2020-05-24 11:05:46 +08:00
    webview
    yrj
        5
    yrj  
       2020-05-24 13:07:42 +08:00 via iPad
    要么渲染 js 要么根据数据自己渲染成指定样式结构
    qinfensky
        6
    qinfensky  
       2020-05-24 15:02:13 +08:00
    superagent + cheerio
    wzwwzw
        7
    wzwwzw  
       2020-05-24 17:24:45 +08:00
    Splash.
    ericls
        8
    ericls  
       2020-05-25 10:21:17 +08:00
    puppeteer +1

    如果是 python 可以用 request-html
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3308 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 12:33 · PVG 20:33 · LAX 05:33 · JFK 08:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.