V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mrant
V2EX  ›  程序员

抖音的接口 api 是怎么爬去的

  •  1
     
  •   mrant · 2018-07-02 13:23:53 +08:00 · 25329 次点击
    这是一个创建于 2097 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近看到了几个 pc 端可以看抖音、火山、快手的网站, 就好比这个网站: https://kuaiyinshi.com/#video-pannel

    有没有大佬知道数据是怎么爬来的,官网都没有提供啊

    29 条回复    2018-07-03 16:05:01 +08:00
    mht
        1
    mht  
       2018-07-02 13:30:31 +08:00 via iPhone
    抓包?
    mrant
        2
    mrant  
    OP
       2018-07-02 13:34:53 +08:00
    @mht 抓包是可以,但是你得手动触发 刷抖音的动作吧。。。
    siyemiaokube
        3
    siyemiaokube  
       2018-07-02 13:38:07 +08:00 via iPhone
    这东西见光死吧。。。
    tingyunsay
        4
    tingyunsay  
       2018-07-02 13:38:15 +08:00
    得逆向,ida 动态调试,解密,抖音的 feed 流加密步骤还是挺多的,如果走检索直接抓包,但是没有验证 token 是否有时效性(貌似是有)
    jimmyczm
        5
    jimmyczm  
       2018-07-02 15:54:19 +08:00
    appnium 应该可以看得到吧?
    mrant
        6
    mrant  
    OP
       2018-07-02 16:06:48 +08:00
    @siyemiaokube 我看这个网站做的蛮大的
    mrant
        7
    mrant  
    OP
       2018-07-02 16:07:16 +08:00
    @tingyunsay 这么复杂,脚本能搞定吗
    mrant
        8
    mrant  
    OP
       2018-07-02 16:08:08 +08:00
    @jimmyczm 看到也只是抓包吧,但是做这个的应该不是自己一直刷抖音,拿到的数据吧
    xomix
        9
    xomix  
       2018-07-02 16:24:29 +08:00   ❤️ 1
    @mrant 一般这种有个更简单的办法,找个人流大的地方挂个免费 wifi,然后拿日志爬一下就行了,刷的事连过来的用户就做完了。
    tingyunsay
        10
    tingyunsay  
       2018-07-02 16:25:59 +08:00
    @mrant 代码肯定是脚本能搞定的,但是过程嘛,得用到很多软件去调试。
    实在不行可以用台手机模拟人去点击,获取点击的那个 url,一段时间之内的数据肯定是有效的,url 有时效性,但是就是慢
    sjzjams
        12
    sjzjams  
       2018-07-02 16:26:39 +08:00
    从他们网站查看视频请求,视频资源规律是什么样的
    V392920
        13
    V392920  
       2018-07-02 16:31:49 +08:00
    之前逆向过抖音,里面的算法确实很多!但是那都是需要做登录操作才涉及到那些算法,如果只是抓视频的话,好像用不上那些加密算法,也是好几个月前的事了,现在抖音估计也都加强改版了很多了!
    mrant
        14
    mrant  
    OP
       2018-07-02 16:34:53 +08:00
    @V392920 #13 你看那个网站他的数据一直有
    mrant
        15
    mrant  
    OP
       2018-07-02 16:35:37 +08:00
    @sjzjams 我看他连用户视频的赞,评论啥的都拿到了
    tianakong
        16
    tianakong  
       2018-07-02 17:00:15 +08:00   ❤️ 1
    你就爬这个站的
    mosade
        17
    mosade  
       2018-07-02 17:30:54 +08:00
    mosade
        18
    mosade  
       2018-07-02 17:32:32 +08:00   ❤️ 1
    nicevar
        19
    nicevar  
       2018-07-02 17:44:13 +08:00
    @mrant 手动触发用 python 写个脚本模拟人工操作就行了,类似之前的微信跳一跳外挂
    加密的话如果 so 库没有加壳之类的加固处理还是很好分析的
    sampeng
        20
    sampeng  
       2018-07-02 19:05:06 +08:00
    几千工人工在工厂里拿着手机一直刷刷刷。按刷新量结算。。抖个机灵就跑
    zke1e
        21
    zke1e  
       2018-07-02 20:30:48 +08:00
    这种算违法了
    akira
        22
    akira  
       2018-07-02 21:07:15 +08:00
    1. 分析 api 接口,然后写代码模拟请求
    2. 模拟点击,抓取封包后分析。上足够数量的设备 一直在刷新就可以了。// 国内几千几万台手机的工作室还是有不少的。
    1762628386
        23
    1762628386  
       2018-07-02 21:07:27 +08:00
    @sampeng ~ 还不够工人💰
    weiyufen520
        24
    weiyufen520  
       2018-07-03 08:31:35 +08:00
    网上很多这种方法了
    weiyufen520
        25
    weiyufen520  
       2018-07-03 08:48:29 +08:00
    @zke1e 为什么是违法了
    circleee
        26
    circleee  
       2018-07-03 09:00:11 +08:00
    @tianakong (⊙o⊙)…
    Raymon111111
        27
    Raymon111111  
       2018-07-03 10:33:12 +08:00
    爬虫是会被抓起来的不知道吗
    licoycn
        28
    licoycn  
       2018-07-03 11:41:26 +08:00
    你直接爬你给的这个网站的数据不就行了吗
    weiyufen520
        29
    weiyufen520  
       2018-07-03 16:05:01 +08:00
    @Raymon111111 那百度也会被抓吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2889 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 11:21 · PVG 19:21 · LAX 04:21 · JFK 07:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.