V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
gongweixin
V2EX  ›  问与答

大家一起来讨论下,今日头条是如何实现去重的?

  •  
  •   gongweixin · 2014-12-02 13:10:01 +08:00 · 6509 次点击
    这是一个创建于 3426 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近刚刚看完<长尾理论>, 现在的互联网基本就是在挖掘长尾的价值,因此个性化的推荐就很重要了,网上的开源推荐引擎也很多,今日头条就是基于个性化推荐的新闻App, 但使用今日头条的时候每次下拉刷新都会有新的内容,并且是不重复的这个是如何实现的呢?
    5 条回复    2014-12-02 23:14:08 +08:00
    gongweixin
        1
    gongweixin  
    OP
       2014-12-02 13:12:48 +08:00
    一般这种列表展示形态的应用都会传个时间戳,通过时间戳来保证不会返回以前的数据, 但是今日头条每次返回的内容的发布时间是不确定的,这次返回今天的, 拉取一次可能就会取到几天前的,再拉取又可能取的最近一两天的.
    feilaoda
        2
    feilaoda  
       2014-12-02 15:46:26 +08:00
    头条每一个都有id,在app端去重也是很简单的
    gongweixin
        3
    gongweixin  
    OP
       2014-12-02 20:15:39 +08:00
    @feilaoda 如果完全客户端去重的话服务端是安装什么规则给它取呢,因为不论它按照什么排序,如果是简单的从大到小排序,间隔极短的两次拉取应该返回相同内容,但是每次拉取都能获取到几条新内容(内容上的新,不是时间上的新).
    feilaoda
        4
    feilaoda  
       2014-12-02 20:38:57 +08:00
    @gongweixin 这个和微博timeline类似,通过时间戳即可以解决只更新最新内容
    gongweixin
        5
    gongweixin  
    OP
       2014-12-02 23:14:08 +08:00
    @feilaoda 但是它这个不是通过timeline划分的, 获取到的新闻的时间不是有序的,比如今天是12月2号, 第一次拉取可能获取到12月1号的,下次拉取可能获取到12月1号的,再拉取又可能获取到11月30号的.
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   896 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 21:23 · PVG 05:23 · LAX 14:23 · JFK 17:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.