推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2345 天前的主题，其中的信息可能已经有所发展或是发生改变。
行业领域
不限
人工智能 区块链 大数据 医疗健康 教育培训 文娱传媒 消费升级 金融 电子商务 企业服务 VR/AR 旅游户外 餐饮业 房产家居 汽车交通 体育健身 生活服务 食品饮料 物联网 硬件 游戏 生产制造 物流运输 农业 批发零售 先进制造 社交社区 工具软件 服装纺织 建筑 开采 环保 能源电力 政务及公共服务 科研及技术服务
下面是 时间 一年的循环
这样 365 天*35 行业。在 selenium 点击 如何提高效率？ aiohttp ？ 如果是多台机器是是不是 dokcer+spalsh ？
不限
人工智能 区块链 大数据 医疗健康 教育培训 文娱传媒 消费升级 金融 电子商务 企业服务 VR/AR 旅游户外 餐饮业 房产家居 汽车交通 体育健身 生活服务 食品饮料 物联网 硬件 游戏 生产制造 物流运输 农业 批发零售 先进制造 社交社区 工具软件 服装纺织 建筑 开采 环保 能源电力 政务及公共服务 科研及技术服务
下面是 时间 一年的循环
这样 365 天*35 行业。在 selenium 点击 如何提高效率？ aiohttp ？ 如果是多台机器是是不是 dokcer+spalsh ？
 |
1
golmic 2018-06-17 19:11:10 +08:00 via Android
如果考虑 selenium 或者 splash 的话就不要追求效率了
|
 |
2
bestehen OP @golmic 现在就是点击的，因为如果每天都点击 就是 365 天 再加上 35 个行业，数字很大，那么 chrome 吃不消的
|
|
3
golmic 2018-06-17 19:18:49 +08:00 via Android
建议分析一下请求...直接请求的方式做
|
 |
4
lhx2008 2018-06-17 19:23:53 +08:00 via Android
35 个栏目又不多，开 35 个 chrome 就 ok
|
 |
9
xpresslink 2018-06-18 15:17:02 +08:00
你都用 selenium 了就不要问效率的问题了。
你应该会 xpath 语法吧，要效率直接上 scrapy 之类，解析每个类别的 url，直接异步发送请求，要担心的不是效率问题了，而是别把人家 web 服务器给爆了。 |
 |
10
JCZ2MkKb5S8ZX9pq 2018-06-18 18:13:11 +08:00
一直用的 requests，昨天试了下 selenium，结果被淘宝的滑块拦下了，唉。
搭车问问，有啥老版本的 ff 可以绕过 robot 模式嘛，主力用 chrome 不想降。 |
|
11
bestehen OP @xpresslink 我是说 再 selenium 基础上提高效率啊。365*35 这个数字很庞大啊。还有就是 2 个 365*35
|
|
12
bestehen OP @JCZ2MkKb5S8ZX9pq 滑块也可以 selenium 滑动的
|
 |
14
beforeuwait 2018-06-19 13:50:58 +08:00
能自己撸代码模拟的，为啥非要去 selenium 呢
|
|
15
bestehen OP @beforeuwait 企名片 你去看看，纯接口难
|
 |
16
lt921002191 2018-06-26 07:20:16 +08:00 via Android
能获取到请求就尽量获取请求，直接发请求效率最快
|
Select Language