首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
华为云
V2EX  ›  Python

谈谈网易云的反爬机制

  •  1
     
  •   smallgoogle · 9 天前 · 2307 次点击

    最近想做大数据分析; 所以想爬取了网易云的所有用户信息;

    那么重点来了,我发现,网易云有单模块防御机制; 比如个人用户主页,我爬取了大概 5W+左右,反爬机制就生效了, 不管访问哪一个用户的主页,都是返回 404,连我自己的个人中心都无法登录了;

    我试过 cookie 变换,但是得出结论绝对是 IP 被黑了。 请问各位,有没有相关经验。 到底是不是黑了 IP。。。。。

    17 回复  |  直到 2018-11-16 01:57:58 +08:00
        1
    sunzongzheng   9 天前 via Android   ♥ 1
    我被 ban 过 ip,大概 ban 了 7 到 10 天左右
        2
    smallgoogle   9 天前
    @sunzongzheng 不是。那么认真的么? 7-10 天?
        3
    cyrbuzz   9 天前
    网易云的反爬貌似是基于账号的,换 cookies 是有用的吧?
        4
    Baboonowen   9 天前
    来个爬虫代码 让大伙验证一下 嘿嘿
        5
    CivAx   9 天前
    去随便一个云买个小鸡跑一下就知道了
        6
    locoz   9 天前 via Android
    不换 IP 又不在限制范围内当然会被封 IP 啊。。
        7
    smallgoogle   9 天前
    @cyrbuzz 是 IP 挂了。cookie 换过了。无效。
        8
    masterjoess   9 天前
    虽然让你爬了 5W+了,但你该不会是想用单 IP 爬全站吧?全国混拨了解一下
        9
    sunzongzheng   9 天前 via Android
    @smallgoogle 我上次是 for 循环无延时调的音乐接口,在服务器上,然后被 ban 了这么久
        10
    LukeChien   9 天前
    网易云有啥好爬的
        11
    whoami9894   9 天前 via Android
    我记得原来爬 ins,cookie+ip+请求间隔反爬,接口还乱糟糟,头疼
        12
    smallgoogle   9 天前
    @sunzongzheng 目前来看。我到现在还没解封。估计是六七天才行了。
        13
    smallgoogle   9 天前
    @masterjoess 大概是我太单纯了。
        14
    smallgoogle   8 天前   ♥ 2
    这两天摸出结论:

    网易云是双封,先在你的 cookies 写入封禁的字段,然后封禁 IP ;
    如果你换了 IP,不清理 cookies,一样死;

    所以解封的办法是,先清理 cookie,然后换 IP。然后访问就 OK 了。
        15
    cxa   6 天前
    现在还有写爬虫不叫代理的么。。。
        16
    bjt5521   4 天前
    我是做代理 IP 的,我们有个企业客户,成立了一个攻坚反爬部门,专门研究怎么绕过风控抓取数据。现在风控台厉害了
        17
    smallgoogle   3 天前
    @bjt5521 成功绕过了么?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3568 人在线   最高记录 3821   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 17ms · UTC 02:57 · PVG 10:57 · LAX 18:57 · JFK 21:57
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1