首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

在写爬虫,请问 https 的网站能爬嘛?

  •  
  •   fghfjujiber · 2015-07-02 16:14:06 +08:00 · 5092 次点击
    这是一个创建于 1572 天前的主题,其中的信息可能已经有所发展或是发生改变。

    应该是可以的吧?还有啥叫分布式爬虫呢?

    6 回复  |  直到 2015-07-02 20:56:32 +08:00
        1
    Septembers   2015-07-02 16:15:49 +08:00
    可以
    CC @binux
        2
    kenneth   2015-07-02 16:24:19 +08:00
    分布式就是不是单机的用法,多机器的来爬。这样就Elastic。
        3
    learnshare   2015-07-02 16:26:48 +08:00
    对网页内容来说,HTTP 和 HTTPS 并无差异
        4
    imlonghao   2015-07-02 16:35:06 +08:00 via Android
        5
    sivacohan   2015-07-02 20:53:59 +08:00 via Android
    你的爬虫支持ssl就行,如果你用requests。
    那http和https没什么区别。当然python2可能会踩到ssl的坑,可以通过patch来解决。
        6
    julyclyde   2015-07-02 20:56:32 +08:00
    为什么会有这种问题
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1124 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 19ms · UTC 18:21 · PVG 02:21 · LAX 11:21 · JFK 14:21
    ♥ Do have faith in what you're doing.