首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

关于网页版闲鱼(爬虫相关)

  •  
  •   yongsan01 · 143 天前 via iPhone · 2885 次点击
    这是一个创建于 143 天前的主题,其中的信息可能已经有所发展或是发生改变。

    访问网页版闲鱼,遇到一些问题

    比如搜索关键字“手机”:

    https://s.2.taobao.com/list/?_input_charset=utf8&q=%E6%89%8B%E6%9C%BA

    1.进去以后发现 点任何跳转链接的按钮(点击按价格排序、按价格范围搜索)都会自动跳到这里:

    https://www.taobao.com/markets/bx/deny_pc

    显示内容

    亲,访问被拒绝
    
    可能因为:
    
    请检查是否使用了代理软件或 VPN 哦~
    

    问题是没用代理,所以有点困惑,是我的 IP 被限制了吗?

    2.下拉到底部加载更多时,一直在转“加载中,请稍候”

    抓了一下包,发现发出加载请求后得到的 json 是空的

    https://s.2.taobao.com/list/waterfall/waterfall.htm?wp=2&_ksTS=1563442743757_129&callback=jsonp130&stype=1&st_trust=1&q=%CA%D6%BB%FA&ist=1

    响应:

    jsonp130({
        "numFound": 0,	
        "currPage": 0,	
        "totalPage": 0,	
        "ershouCount": 0,	
        "idleCount": 0,	
        "ershou":[		],
        "idle":[		]
    })
    

    是我的方式哪里错了吗?

    13 回复  |  直到 2019-08-12 11:28:46 +08:00
        1
    siknet   143 天前 via Android
    URL 不对,自己构造就行了
        2
    JmmBite   143 天前
    app 抓包。
        3
    HuberyPang   143 天前
    网页版没找到搜索入口呀 这个要抓 app 端吧
        4
    yongsan01   143 天前
    @HuberyPang 直接在地址栏传的参数
        5
    yongsan01   143 天前
    @JmmBite 好吧 闲鱼现在只能抓 app 端了吗
        6
    spark   143 天前
    闲鱼很早就把网页搜索入口给关了啊
        7
    mawerss1   142 天前
    http://www.xianyusoso.com/ 代码一看便知
        8
    mingyangliang   139 天前
    兄弟,问题解决了吗?
    我现在也遇到了这样的问题
        9
    llll   137 天前
    @mawerss1 该网站已挂
        10
    joson1205   131 天前
    抓包看下就知道,也可以用代理重新请求看下返回是不是一样的
        11
    win7pro   125 天前
    我看黑碟软件的闲鱼监控助手,他的日志内会有“生成 token ”这样一条,每查一次关键字会生成 token 一次,不知道走的什么接口。
        12
    sczan1101   119 天前
    这个月一号彻底把网页搜索关了
        13
    iamdaguduizhang   118 天前
    网页搜索看来是没有了,我尝试了 App,抓包发现有加密参数,那就只能逆向了吗?可有老哥有其他的办法
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4519 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 24ms · UTC 02:08 · PVG 10:08 · LAX 18:08 · JFK 21:08
    ♥ Do have faith in what you're doing.