推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
有偿求助， browsermobproxy+selenium 怎么连接 IP 池？
doolindalton · 2022-03-05 00:55:24 +08:00 · 3180 次点击这是一个创建于 1027 天前的主题，其中的信息可能已经有所发展或是发生改变。
有偿求助，browsermobproxy+selenium 怎么连接 IP 池？
browsermobproxy 主要作用是点击以后，像 fiddle 一样抓取网络请求参数。 但是在多线程的情况下，怎么搞定 IP 池呢？求助
4 条回复 • 2022-03-23 21:05:25 +08:00
 |
1
cy1027 2022-03-09 11:21:30 +08:00
selenium 启动的时候可以加参数 options ，里面可以配代理，但是更换代理好像只能重启浏览器了，当然你可以开很多个浏览器，每个浏览器单独配代理，如果你想更进一步，在每个浏览器都使用不同代理的情况下还对数据抓包，可以考虑对路由器抓包，如果是 mitmproxy 的话可以让 mitmproxy 拦截到的请求再走一次 ip 池，你说的这个库没玩过，不知道怎么搞
|
 |
2
madpudding 2022-03-18 10:14:20 +08:00
我也遇到了这个问题，在 stackoverflow 找了很多问题，好像是不能的，转 splash 来抓 har 把.
|
 |
3
llsquaer 2022-03-23 21:02:56 +08:00
今天刚好遇到想直接获取 xhr 返回 body 的 发现 selenium 不能直接支持..只能变相的去获取请求日志来获取,异常复杂 用这一段 logs_raw = browser.get_log("performance")
你的需求是 请求的时候切换 ip..这样的话你可以 本机自建一个代理..所有请求走这个自建代理..也可以用 mitmproxy 自己改.. 还有一个花钱的方案..直接用那些 ip 代理公司的 隧道代理..就不用考虑切换 ip 的事情了. |
|
4
llsquaer 2022-03-23 21:05:25 +08:00
刚看了你这个 browsermobproxy ..发现还真不错. 拿来用用..哈哈
|
Select Language