首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
华为云
V2EX  ›  Python

请问大家, scrapy 的代理 IP 哪里搞?极光的代理 IP 太贵了,有没有便宜点的?

  •  1
     
  •   moxiaowei · 12 天前 · 1268 次点击
    最近在写爬虫,没有代理 IP 没法搞,请问大家,scrapy 的代理 IP 哪里搞?极光的代理 IP 太贵了,有没有便宜点的?
    24 回复  |  直到 2018-11-08 23:15:18 +08:00
        1
    SpiderXiantang   12 天前
    便宜的可用率低,可用率高的又贵
        2
    moxiaowei   12 天前
    @SpiderXiantang 是的 是的 纠结的一笔
        3
    moxiaowei   12 天前
    @SpiderXiantang 能问下 您用的啥么?
        4
    SpiderXiantang   12 天前
    @moxiaowei 芝麻 可以给 n 个蜘蛛用 不过有点贵
        5
    moxiaowei   12 天前
    @SpiderXiantang 谢谢 我来看下 。
        6
    glacer   12 天前
    需求量小的话,用 IPProxyPool 来爬免费代理,可以有大概 100 个左右可用的 ip。https://github.com/qiyeboy/IPProxyPool
    需求量大的话就只能买代理服务,或者动态 vps 搭 squid 来实现。
        7
    ioven   12 天前
    买些垃圾 vps 自己搭建
        8
    SpiderXiantang   12 天前
    @glacer 免费代理实际效果不是很理想
        9
    moxiaowei   12 天前
    就是 不是有个西刺么 上面的 IP 多的 但是都不能用 垃圾的一笔
        10
    hellove1985   12 天前
        11
    moxiaowei   12 天前
    @hellove1985 好的 我来看看
        12
    princelai   12 天前 via Android
    我用大象,便宜给得多,可用率没算过,估计不高,冲 10 块钱用一个月
        13
    kdwycz   12 天前
    很好奇 ip 代理服务的 ip 来源是什么
        14
    est   12 天前
    @kdwycz 中间人用来抓有价值信息的。

    你们免费的代理都不靠谱。我这边反扒系统会直接识别免费的或者便宜的 ip 代理池。一键封停。
        15
    xiaobai9927   11 天前
    免费代理都不靠谱,100 个 IP 中有一两个可用已经很好了。

    而大部分便宜的代理也不靠谱,买过几个小时和一天和一个月的,几块钱那种,反正不能爬。要么连接不上,要么 403,

    有好的介绍下,同求。。。
        16
    kr380709959   11 天前
    蘑菇代理还不错,之前爬的时候用过。可靠性高,价格也不算很高,主要是按次收费
        17
    WildCat   11 天前
    https://github.com/imWildCat/scylla

    之前写的一个代理 IP 爬虫+验证工具。最近太忙没维护了。
        18
    JCZ2MkKb5S8ZX9pq   11 天前
    我的方案,自己写个工具,定器爬取世面上的免费代理,测速,然后把好用的拿出来轮流使用。
        19
    moxiaowei   11 天前
    @JCZ2MkKb5S8ZX9pq 我拿到代理 IP 也会验证的,不过有个问题是,这一刻能用,并不能保证下一刻也能用,所以,轮流使用我感觉不靠谱
        20
    JCZ2MkKb5S8ZX9pq   11 天前
    @moxiaowei 调用方法我也检测的,好用不好用的都打标记,好用的继续排队,不好用的后台定期重试,超过次数丢弃。
        21
    eastlhu   11 天前 via iPhone
    @JCZ2MkKb5S8ZX9pq #18 羊毛高手
        22
    ji4ozhu   11 天前
    www.54nb.com 挂机宝了解一下
        23
    moxiaowei   10 天前
    @JCZ2MkKb5S8ZX9pq 我已经解决了。开线程验证,很快就验证完,然后立刻使用,这样成功率相对高了很多
        24
    JCZ2MkKb5S8ZX9pq   10 天前
    @moxiaowei 那蛮好。我那时候是碰到腾讯的云防火墙,单 ip 太频繁会被 b,所以不得不排队。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3415 人在线   最高记录 3821   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 18ms · UTC 03:54 · PVG 11:54 · LAX 19:54 · JFK 22:54
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1