V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
woshicixide
V2EX  ›  问与答

帖子类型的数据该怎么分表

  •  
  •   woshicixide · 2014-12-25 13:15:16 +08:00 · 2701 次点击
    这是一个创建于 3381 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我现在帖子表已经到了1000W了,还在正以每天两三千左右的速度增加,所以分表已经刻不容缓了,但是除了以帖子id分表外没有什么更好的办法,想过用用户id来分,但是这样分的话会导致有些表数据分布不均匀,而且很难扩展,常用业务如下:
    1. 获取最近两天的所有帖子;
    2. 获取某板块的帖子(需分页);
    3. 获取某个用户所发的帖子(需分页);
    4. 按时间段来获取帖子;
    不知道大家有没有好的办法推荐,先感谢各位了
    15 条回复    2014-12-25 23:35:21 +08:00
    invite
        1
    invite  
       2014-12-25 13:37:15 +08:00   ❤️ 1
    按天分表可行?
    cevincheung
        2
    cevincheung  
       2014-12-25 13:40:59 +08:00   ❤️ 1
    按照帖子id,分区。
    单独分表已经慢慢无法满足需求了。
    1234需求分表只能使用UNION
    cevincheung
        3
    cevincheung  
       2014-12-25 13:41:12 +08:00
    补充,上个sphinx也行。
    regmach
        4
    regmach  
       2014-12-25 13:42:48 +08:00   ❤️ 1
    我怎么觉得压力不大
    1,4可以用缓存
    2,3可以用索引
    woshicixide
        5
    woshicixide  
    OP
       2014-12-25 13:44:08 +08:00
    @invite 可行,但是按板块id和用户id来找帖子的时候得扫全部表
    woshicixide
        6
    woshicixide  
    OP
       2014-12-25 13:46:22 +08:00
    @regmach 我前面还加了层mongo,用来缓存两天的数据,但是碰到23在性能上已经快不行了(sql语句肯定命中索引)
    woshicixide
        7
    woshicixide  
    OP
       2014-12-25 13:48:02 +08:00
    @cevincheung 我的目的就是尽量少用union,但是sphinx对我来说用处不大,我不需要做内容查找
    cevincheung
        8
    cevincheung  
       2014-12-25 13:53:40 +08:00
    @woshicixide
    sphinx做条件筛选,id查询无压力。multi也不错。
    regmach
        9
    regmach  
       2014-12-25 13:54:05 +08:00
    @woshicixide 0_0 访问量好大啊...
    请问回复表是不是更加夸张?
    woshicixide
        10
    woshicixide  
    OP
       2014-12-25 14:00:05 +08:00   ❤️ 1
    @regmach 回复表差不多大,但是回复的查看量不大,所以暂时不会有什么问题
    invite
        11
    invite  
       2014-12-25 14:03:32 +08:00   ❤️ 1
    @woshicixide 又想分表,又不想扫描全部表?数据就放在那里,不扫它,那怎么获取信息啊?
    xing393939
        12
    xing393939  
       2014-12-25 14:06:58 +08:00   ❤️ 1
    1000W,不算多吧。之前我的一个mysql innodb分区表,都已经2亿多条记录了,查询都不慢,觉得可以在查询上多做些优化就行了
    Mac
        13
    Mac  
       2014-12-25 15:07:15 +08:00
    1000W是瓶颈么?
    haython
        14
    haython  
       2014-12-25 21:20:01 +08:00
    我感觉按月分一下就可以了
    esile
        15
    esile  
       2014-12-25 23:35:21 +08:00
    @woshicixide 按id分表,1234都可以用coreseek/sphinx解决!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3228 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 11:32 · PVG 19:32 · LAX 04:32 · JFK 07:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.