首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  z1421012325  ›  全部回复第 1 页 / 共 2 页
回复总数  35
1  2  
❮ ❯
2019-07-07 19:30:38 +08:00
回复了 harley27 创建的主题 › Python › 用 Python 开发 APP 有什么好处和坏处？
@Trim21 我想问一下 python web 现在用怎么样?我在学
2019-07-02 13:29:03 +08:00
回复了 z1421012325 创建的主题 › Python › redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗?
@ebingtel 分布式爬虫我的数据是放在 mongodb 中的,所以是存放指纹的数据库问题,

更新一下,爬了五个小时 之后再去看发现数据库中的指纹都没了..
2019-07-01 23:27:30 +08:00
回复了 z1421012325 创建的主题 › Python › redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗?
更新--->>>>貌似是 redis 库的问题 爬了 4 个小时,最好 redis 库中的指纹消失了,我没与重启服务器过..
2019-06-23 11:17:36 +08:00
回复了 z1421012325 创建的主题 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
@zzy578 详情页没啥反爬,只是列表页不好弄
2019-06-22 19:27:56 +08:00
回复了 liugene 创建的主题 › Python › 有人知道最新的淘宝详情页面的销量数据怎么爬吗？
源码爬不到,不过有接口,刚看了下有天猫的月销量在内,你全局搜索一下就找到了
2019-06-22 19:06:50 +08:00
回复了 z1421012325 创建的主题 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
@www6688w 真实模式也没用啊,根据用户习惯分析就能轻松反爬,毕竟一个人不可能一天之内浏览这么多页面的
2019-06-22 17:27:00 +08:00
回复了 z1421012325 创建的主题 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
@akira ip 倒是没啥问题,问题是账号,再说了如果被发现是爬虫,那么这个账号短时间内不能使用了,还有貌似每天都会让你登陆一次获取 cookies..
2019-06-22 13:40:30 +08:00
回复了 z1421012325 创建的主题 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
@Baboonowen 也对,但是爬虫就是要反反爬吧
2019-06-22 13:33:07 +08:00
回复了 z1421012325 创建的主题 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
@daquandiao2 都算是构想,第一种我机器配置不行,在模拟器中开淘宝直接卡死,第二种还在想怎么弄,这不来 v2 上看看大家有什么思路不?
2019-06-22 13:31:02 +08:00
回复了 z1421012325 创建的主题 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
@shanlan 学习不商用,试试爬爬,加强技能
2019-06-22 13:30:31 +08:00
回复了 z1421012325 创建的主题 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
而且我不一定全站爬取,只要热门商品前面的就行,大概是每个商品爬个 5 60 页就爬下一个
2019-06-22 13:29:29 +08:00
回复了 z1421012325 创建的主题 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
@o00o app 端有没有试过?,我这边弄不了,机器开虚拟机配置不行,淘宝都打不开...
2019-06-22 13:27:49 +08:00
回复了 z1421012325 创建的主题 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
@VDimos 我也知道啊,但是学习不商用,而且也不是要全部爬取,只要能运行成功一天就好了
2019-06-21 22:33:38 +08:00
回复了 z1421012325 创建的主题 › Python › 关于手机 app 抓包一般流程是不是使用 fiddler 或者 Charles 来查找接口,在使用 mitmproxy 的 mitmdunmp 对接口所含有的数据进行提取,再用自动化 appium 或者 AirtestIDE 控制?
@locoz 感谢大佬的文档,不过我有个问题,

比如我是在 win 下使用 mitmdump 拦截数据保存的,

但是我需要手动滑动一些页面,想要使用自动化软件 airtestIDE 让手机自动化,发现使用的是模拟器,没有使用真机,想知道怎么无线让两个运作起来??共用同一个端口也不行吧?


网络上的教程都是使用抓包软甲+有线 adb 手机抓取, 难道只能使用真机+有线来操控吗
2019-06-21 15:50:32 +08:00
回复了 z1421012325 创建的主题 › Python › 关于手机 app 抓包一般流程是不是使用 fiddler 或者 Charles 来查找接口,在使用 mitmproxy 的 mitmdunmp 对接口所含有的数据进行提取,再用自动化 appium 或者 AirtestIDE 控制?
@jamev5 这种对于证书能搞定吗,对安卓版本有没有要求啊?
2019-06-20 23:34:16 +08:00
回复了 z1421012325 创建的主题 › Python › 关于手机 app 抓包一般流程是不是使用 fiddler 或者 Charles 来查找接口,在使用 mitmproxy 的 mitmdunmp 对接口所含有的数据进行提取,再用自动化 appium 或者 AirtestIDE 控制?
@duan602728596 根据需求来越狱吧? 我直接在 wifi 中写入代理和端口,在 ios 自带的浏览器上下证书,直接安装信任就好了,直接抓到 https 的请求,比起安卓简单的太多了,除非 app 中含有 sslpinning 才需要把?我尝试了起点的 https 请求可以抓到,抖音也行
2019-06-20 22:56:15 +08:00
回复了 z1421012325 创建的主题 › Python › 关于手机 app 抓包一般流程是不是使用 fiddler 或者 Charles 来查找接口,在使用 mitmproxy 的 mitmdunmp 对接口所含有的数据进行提取,再用自动化 appium 或者 AirtestIDE 控制?
@Jirajine 我用模拟器试了下,直接用安卓版本 5.0 以上的 用 xposed +justtrustme 可以无视证书,证书的安装也不用了,charles 能抓到 https 的请求了 这是我写的随笔 https://www.cnblogs.com/zengxm/p/11061900.html
2019-06-20 20:03:50 +08:00
回复了 z1421012325 创建的主题 › Python › 爬虫在 winxp 上弄一个 adsl vps 拨号器 其中 ip 的端口咋弄????,跟着 squid 设置端口,不行
@noparking188 这个函数的方法 s.connect(("8.8.8.8", 80)) 什么意思,我还没学这个...看不懂
2019-06-20 19:48:31 +08:00
回复了 z1421012325 创建的主题 › Python › 爬虫在 winxp 上弄一个 adsl vps 拨号器 其中 ip 的端口咋弄????,跟着 squid 设置端口,不行
@locoz 我设置的是 0.0.0.0/0 都可以访问,但是用不了
2019-06-20 15:46:13 +08:00
回复了 z1421012325 创建的主题 › Python › 关于手机 app 抓包一般流程是不是使用 fiddler 或者 Charles 来查找接口,在使用 mitmproxy 的 mitmdunmp 对接口所含有的数据进行提取,再用自动化 appium 或者 AirtestIDE 控制?
@lzvezr 哈哈 我也正在做虚拟机版的,


不知道 windows 的电脑使用 AirtestIDE 能不能控制 ios 啊?
1  2  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1362 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 17:38 · PVG 01:38 · LAX 09:38 · JFK 12:38
Developed with CodeLauncher
♥ Do have faith in what you're doing.