V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
locoz
V2EX  ›  分享创造

看到很多人在写 APP 爬虫的时候一脸茫然,于是我就写了篇介绍常用工具的文章(知乎直链)

  locoz · 2019-04-28 10:06:40 +08:00 · 6562 次点击
这是一个创建于 2021 天前的主题,其中的信息可能已经有所发展或是发生改变。
传送门: https://zhuanlan.zhihu.com/p/63899519

历史文章:
当你写爬虫时遇上 Flash+加密的解决方式 https://zhuanlan.zhihu.com/p/45508079
当你写爬虫抓不到 APP 请求包的时候该怎么办?[初级篇] https://zhuanlan.zhihu.com/p/46433599
当你写爬虫抓不到 APP 请求包的时候该怎么办?[中级篇] https://zhuanlan.zhihu.com/p/56397466
听说这个爬虫面试题很难?看完你就知道怎么做了 https://zhuanlan.zhihu.com/p/59005948
当你写爬虫抓不到 APP 请求包的时候该怎么办?[高级篇-混淆导致通用 Hook 工具失效] https://zhuanlan.zhihu.com/p/63028507

欢迎关注知乎专栏《手把手教你写爬虫》: https://zhuanlan.zhihu.com/webspider
34 条回复    2019-05-07 17:26:25 +08:00
ml1344677
    1
ml1344677  
   2019-04-28 10:43:16 +08:00   ❤️ 1
都是干货
leesymbol
    2
leesymbol  
   2019-04-28 11:07:23 +08:00   ❤️ 1
厉害了 谢谢
caqiko
    3
caqiko  
   2019-04-28 11:16:31 +08:00 via Android   ❤️ 1
滋磁一个
dabaibai
    4
dabaibai  
   2019-04-28 11:24:10 +08:00   ❤️ 1
马克一下
coolloves
    5
coolloves  
   2019-04-28 13:45:44 +08:00   ❤️ 1
马克一波
zdnyp
    6
zdnyp  
   2019-04-28 14:18:35 +08:00
又是你!!!赶紧去看看,前几篇都实践了:)
jb2
    7
jb2  
   2019-04-28 14:59:40 +08:00
大佬,如果 response 的内容被加密了,怎么破?
locoz
    8
locoz  
OP
   2019-04-28 15:15:46 +08:00
@zdnyp #6 hhhhhhh 能帮到你就好
locoz
    9
locoz  
OP
   2019-04-28 15:16:04 +08:00
@jb2 #7 亲亲,这边建议您反编译呢
zdnyp
    10
zdnyp  
   2019-04-28 15:43:55 +08:00
@locoz 没开混淆的 apk 安装不了呀...夜神模拟器,安卓 5.x,Xposed+JustTrustMe
jb2
    11
jb2  
   2019-04-28 15:47:49 +08:00
@locoz 反编译就要折腾啦,爬个数据而已,不容易啊
locoz
    12
locoz  
OP
   2019-04-28 15:55:41 +08:00
@zdnyp #10 奇怪了,我 minSdkVersion 设的是 21 啊 安装不了的提示是啥呢?
locoz
    13
locoz  
OP
   2019-04-28 15:57:11 +08:00
@jb2 #11 那你不想折腾就只能从视图层拿数据了,用群控的手段去做爬虫,但是效率非常低
zdnyp
    14
zdnyp  
   2019-04-28 16:00:27 +08:00
@locoz 安装应用程序失败,没有错误码啥的
zdnyp
    15
zdnyp  
   2019-04-28 16:03:56 +08:00
yuthelloworld
    16
yuthelloworld  
   2019-04-28 16:21:41 +08:00 via Android   ❤️ 1
关注了
locoz
    17
locoz  
OP
   2019-04-28 16:53:59 +08:00
@zdnyp #15 看不到图,可能是要你的账号才能看,我这打开就一个 JUser token must be authenticated 的提示
Youle
    18
Youle  
   2019-04-28 16:54:56 +08:00   ❤️ 1
maki 一波
zdnyp
    19
zdnyp  
   2019-04-28 17:01:39 +08:00
@locoz sor,解析失败,找不到证书
locoz
    20
locoz  
OP
   2019-04-28 17:49:39 +08:00   ❤️ 1
@zdnyp #19 我重新编译了一下,你试试新的 APK,可能是签名版本的问题
zdnyp
    21
zdnyp  
   2019-04-28 17:54:45 +08:00
@locoz 这个可以了,开始盘~
locoz
    22
locoz  
OP
   2019-04-28 18:02:42 +08:00
@zdnyp #21 OK
v2yehen
    23
v2yehen  
   2019-04-28 18:20:18 +08:00   ❤️ 1
插一个真眼
zdb1115
    24
zdb1115  
   2019-04-28 22:20:17 +08:00   ❤️ 1
谢谢分享
fff333
    25
fff333  
   2019-04-28 22:35:59 +08:00 via Android   ❤️ 1
重点关注下
HFX3389
    26
HFX3389  
   2019-04-28 22:54:16 +08:00
我很难受....怎么感觉楼主的名字在哪见过.....手动狗头
locoz
    27
locoz  
OP
   2019-04-29 07:53:26 +08:00 via Android
@HFX3389 #26 哈哈哈哈哈哈在你那个贴子里回复过你
xxoxx
    28
xxoxx  
   2019-04-29 08:08:18 +08:00   ❤️ 1
收藏了,内容不错,值得学习
yorksol
    29
yorksol  
   2019-04-29 10:23:23 +08:00   ❤️ 1
马克一下
wshcdr
    30
wshcdr  
   2019-04-30 11:30:20 +08:00   ❤️ 1
看看是啥情况
chen185102
    31
chen185102  
   2019-05-01 15:08:45 +08:00
口袋 48 这个 APP,开了 Justtrustme+低版本安卓依然捕获不到部分 https 请求,脱了壳看了下也没有混淆 CertificatePinner,能帮忙看看吗
locoz
    32
locoz  
OP
   2019-05-02 18:57:36 +08:00
@chen185102 #31 有空帮你看看,部分是指哪部分?
chen185102
    33
chen185102  
   2019-05-03 09:27:23 +08:00
@locoz 登陆啊签到啊什么的,其实应该说这个应用大部分的请求都抓不到
w4mxl
    34
w4mxl  
   2019-05-07 17:26:25 +08:00
刚传送到知乎,又被传送到 GitHub,🛫️ ; )
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5344 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 07:38 · PVG 15:38 · LAX 23:38 · JFK 02:38
Developed with CodeLauncher
♥ Do have faith in what you're doing.