首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

请教下用 scrapy 如何抓 1688 上的商品数据呢?

  •  
  •   MrMike · 81 天前 · 1281 次点击
    这是一个创建于 81 天前的主题,其中的信息可能已经有所发展或是发生改变。

    网上查的,貌似代码都是 18 年的了,都说用抓包工具先找到一个 json 文件,里面有商品的信息,但是我用抓包工具看了,没有找到这样的网址。 页面上显示出来的商品价格,详情之类的数据,好像都是用 ajax 加载出来的。

    各位大佬们,给点思路或方向。谢谢。

    14 回复  |  直到 2019-08-24 11:58:22 +08:00
        1
    lhx2008   81 天前
    建议你直接放弃就好了,或者花钱找人帮你搞。
        2
    MrMike   81 天前
    @lhx2008 朋友会么,多少钱可以?
        3
    skyeycirno   81 天前
    你可以放弃了,淘宝,阿里巴巴,京东这类的反爬都做到极致了,没你想的那么简单就能爬下来的
        4
    MrMike   81 天前
    @skyeycirno 谢谢。
        5
    alaikis   81 天前
    直接解决 JS,里面直接 JSON 就可以,最好的方法是采购手机版,手机版反爬没那么严重,另外,可以申请采购接品,直接拉取也可以。
        6
    alaikis   81 天前
    你把 www 改成 m 就是详情页的手机版,分页的话,只采购地址是比较简单的
        7
    sherlockwhitebb   81 天前
    直接上 selenium 吧
        8
    sherlockwhitebb   81 天前
    预算多少
        9
    MrMike   81 天前
    @alaikis 是申请采购接口么?
        10
    yaoye555   81 天前
    已突破 1688 任何维度不登录情况下的异步请求现已应用于公司大范围产品线, 有意可咨询
        11
    alaikis   81 天前
    不需要接口呀,就在 JS 里面,直接正则解析一下就好,我们原来 1688 上亿的采集都是这样操作的,直接 selenium 加谷歌浏览器就 OK 了
        12
    alaikis   81 天前
    记得加一下代理 IP,一家换两三个就可以了,就是不知道你们的采集量
        13
    LZSZ   81 天前
    正常浏览都经常出验证。
        14
    MrMike   81 天前
    @alaikis 哦。谢谢哈。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3561 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 33ms · UTC 04:10 · PVG 12:10 · LAX 20:10 · JFK 23:10
    ♥ Do have faith in what you're doing.