推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
请问大家， scrapy 的代理 IP 哪里搞？极光的代理 IP 太贵了，有没有便宜点的？
moxiaowei · 2018-11-07 10:45:22 +08:00 · 6581 次点击这是一个创建于 2235 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在写爬虫，没有代理 IP 没法搞，请问大家，scrapy 的代理 IP 哪里搞？极光的代理 IP 太贵了，有没有便宜点的？
 |
1
SpiderXiantang 2018-11-07 10:56:55 +08:00
便宜的可用率低，可用率高的又贵
|
 |
2
moxiaowei OP @SpiderXiantang 是的 是的 纠结的一笔
|
|
3
moxiaowei OP @SpiderXiantang 能问下 您用的啥么？
|
|
4
SpiderXiantang 2018-11-07 11:01:17 +08:00
@moxiaowei 芝麻 可以给 n 个蜘蛛用 不过有点贵
|
|
5
moxiaowei OP @SpiderXiantang 谢谢 我来看下 。
|
 |
6
glacer 2018-11-07 11:04:17 +08:00
需求量小的话，用 IPProxyPool 来爬免费代理，可以有大概 100 个左右可用的 ip。https://github.com/qiyeboy/IPProxyPool
需求量大的话就只能买代理服务，或者动态 vps 搭 squid 来实现。 |
 |
7
ioven 2018-11-07 11:04:49 +08:00
买些垃圾 vps 自己搭建
|
|
8
SpiderXiantang 2018-11-07 11:07:38 +08:00
@glacer 免费代理实际效果不是很理想
|
|
9
moxiaowei OP 就是 不是有个西刺么 上面的 IP 多的 但是都不能用 垃圾的一笔
|
 |
10
hellove1985 2018-11-07 11:15:36 +08:00
以前用过一段时间这个免费的 https://github.com/fate0/proxylist，不知道现在还能不能用。
|
|
11
moxiaowei OP @hellove1985 好的 我来看看
|
 |
12
princelai 2018-11-07 11:32:22 +08:00 via Android
我用大象，便宜给得多，可用率没算过，估计不高，冲 10 块钱用一个月
|
 |
13
kdwycz 2018-11-07 11:36:02 +08:00
很好奇 ip 代理服务的 ip 来源是什么
|
 |
14
est 2018-11-07 11:53:39 +08:00
|
 |
15
xiaobai9927 2018-11-07 11:58:30 +08:00
免费代理都不靠谱，100 个 IP 中有一两个可用已经很好了。
而大部分便宜的代理也不靠谱，买过几个小时和一天和一个月的，几块钱那种，反正不能爬。要么连接不上，要么 403， 有好的介绍下，同求。。。 |
 |
16
kr380709959 2018-11-07 13:07:37 +08:00
蘑菇代理还不错，之前爬的时候用过。可靠性高，价格也不算很高，主要是按次收费
|
 |
17
WildCat 2018-11-07 13:11:21 +08:00
|
 |
18
JCZ2MkKb5S8ZX9pq 2018-11-07 14:14:26 +08:00
我的方案，自己写个工具，定器爬取世面上的免费代理，测速，然后把好用的拿出来轮流使用。
|
|
19
moxiaowei OP @JCZ2MkKb5S8ZX9pq 我拿到代理 IP 也会验证的，不过有个问题是，这一刻能用，并不能保证下一刻也能用，所以，轮流使用我感觉不靠谱
|
|
20
JCZ2MkKb5S8ZX9pq 2018-11-07 17:34:07 +08:00
@moxiaowei 调用方法我也检测的，好用不好用的都打标记，好用的继续排队，不好用的后台定期重试，超过次数丢弃。
|
 |
21
eastlhu 2018-11-07 17:58:27 +08:00 via iPhone
@JCZ2MkKb5S8ZX9pq #18 羊毛高手
|
 |
22
ji4ozhu 2018-11-07 22:13:56 +08:00
www.54nb.com 挂机宝了解一下
|
|
23
moxiaowei OP @JCZ2MkKb5S8ZX9pq 我已经解决了。开线程验证，很快就验证完，然后立刻使用，这样成功率相对高了很多
|
|
24
JCZ2MkKb5S8ZX9pq 2018-11-08 23:15:18 +08:00
@moxiaowei 那蛮好。我那时候是碰到腾讯的云防火墙，单 ip 太频繁会被 b，所以不得不排队。
|
 |
25
sw10 2018-11-25 10:52:42 +08:00
|
Select Language