首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

对于 Python 爬虫遇到一个问题,对于这样一个网站: www.icgoo.net,它好像是异步加载的,需要的型号数据在 XHR 里的 html 语句里,设置了 csrftoken。请问要什么方案爬取比较好呢?先谢谢打大家了

  •  
  •   sr0miao · 96 天前 · 1237 次点击
    这是一个创建于 96 天前的主题,其中的信息可能已经有所发展或是发生改变。
    9 回复  |  直到 2018-03-15 03:11:42 +08:00
        1
    cdwyd   96 天前 via Android
    获取 csrftoken 然后抓就是了
        2
    sr0miao   96 天前
    @cdwyd 请问如何获取呢
        3
    Mojy   96 天前   ♥ 1
    最简单的方式是通过模拟浏览器的方式进行爬虫,缺点就是稍微有点慢,需要等到页面加载完成才好
        4
    cokky   96 天前   ♥ 1
    用 phantomjs 模拟浏览器方式来试试
        5
    Nick2VIPUser   96 天前   ♥ 3
    点进 chrome 里面的 Source,到?partno=ADIS16251ACCZ&qty=1 这个 page 里面搜索 token 字段,把 token 出现的地方打断点调试,边调试边读 js 代码的实现,token 初始值多少经过什么代码变成了什么样子,最后算出来是多少。然后使用 python 代码实现~
        6
    welkinzh   96 天前   ♥ 1
    五楼的方法是对的,不过如果处理 token 的 js 比较恶心的话就很麻烦,想简单就用 PhantomJS
        7
    locoz   96 天前 via Android
    逆向自己实现加密 /抠 js 加密部分出来运行 /模拟浏览器
        8
    fsdman1216   95 天前
    selenium + webdriver
        9
    noqwerty   95 天前 via iPhone
    requests-html 了解一下
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   571 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 18ms · UTC 22:14 · PVG 06:14 · LAX 15:14 · JFK 18:14
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1