V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
mthli
V2EX  ›  问与答

抓取推文的时候如何保证不重复?

  •  
  •   mthli · 2014-10-02 23:14:59 +08:00 · 2385 次点击
    这是一个创建于 3465 天前的主题,其中的信息可能已经有所发展或是发生改变。
    比如我现在不定时的从推特上抓取自己时间线上推文。操作是通过使用Twitter的API完成的。
    如何保证本次抓取的内容正好是从上次抓取完毕的地方开始的呢?
    我有个比较笨的方法,就是分批(抽样)抓取数据,每次抓完就判断一下是否重复了。如果重复了就停止抓取。不过我总觉得这样很没效率,不知道大家有没有什么好的建议?
    2 条回复    2014-10-03 01:05:29 +08:00
    wisatbff
        1
    wisatbff  
       2014-10-03 00:31:55 +08:00   ❤️ 1
    mthli
        2
    mthli  
    OP
       2014-10-03 01:05:29 +08:00 via Android
    @wisatbff 嗯。应该就是这个,since_id就是解决这个问题的。我去研究下。自己光想着怎么从timeline抓数据,不读文档,智商很着急呀。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5648 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 01:43 · PVG 09:43 · LAX 18:43 · JFK 21:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.