V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
GuDream8
V2EX  ›  问与答

天生支持增量更新的爬虫有哪些?

  •  
  •   GuDream8 · 2018-08-25 01:59:53 +08:00 via Android · 1739 次点击
    这是一个创建于 2043 天前的主题,其中的信息可能已经有所发展或是发生改变。
    不局限于语言
    第 1 条附言  ·  2018-08-25 10:30:35 +08:00
    更准确的表述应该为 "天生支持增量更新的爬虫框架有哪些?"
    5 条回复    2018-08-25 12:00:24 +08:00
    chen2016
        1
    chen2016  
       2018-08-25 07:47:42 +08:00 via Android   ❤️ 1
    我想知道天生赚钱的体质是什么,不局限于我爹是谁
    loading
        2
    loading  
       2018-08-25 08:17:31 +08:00 via iPhone
    幽灵蛛不知行不行。
    qsnow6
        3
    qsnow6  
       2018-08-25 09:30:09 +08:00
    SCRAPY
    helloiac
        4
    helloiac  
       2018-08-25 10:04:46 +08:00
    啥叫增量更新?
    glacer
        5
    glacer  
       2018-08-25 12:00:24 +08:00 via iPhone
    增量更新实际上就是重爬,通过对 url 或某个字段的值进行排重,新增或变化即入库,否则忽略。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2870 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 13:50 · PVG 21:50 · LAX 06:50 · JFK 09:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.