首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
宝塔
V2EX  ›  问与答

mysql 写的量比较大每日 20 亿次, 读写比是 1:20, 如何设计数据库的架构

  •  
  •   thomaswang · 125 天前 · 1966 次点击
    这是一个创建于 125 天前的主题,其中的信息可能已经有所发展或是发生改变。
    22 回复  |  直到 2019-07-19 09:24:32 +08:00
        1
    glacer   125 天前
    换 MongoDB
        2
    dapang1221   125 天前
    什么业务这么大量的写…读对实时性有要求吗…
        3
    dongisking   125 天前 via Android
    先关注一下,看楼下发言
        4
    luckyrayyy   125 天前
    楼下不会...
        5
    aaahhh123   125 天前
    ma yixai
        6
    stockCHEN   125 天前
    物联网吗?
        7
    zidian9   125 天前
    分库分表写,每过一段时间把老的数据(不怎么用的)移到数据仓库里面去
    数据仓库里面读的时候加个缓存
        8
    sujin190   125 天前
    这种数据是不是不适合存数据库,这么大量,保存下来似乎也没多大用,索引太大查询不了,最好就是 kafaka 然后 flink 直接计算结果就是了,没必要保存吧,需要保存最好就纯文本文件存入 hdfs,需要统计啥的直接 hadoop 或者 flink 读出来直接计算更快吧

    mysql 在索引太大无法使用,需要直接读取磁盘全表扫描的时候似乎读取磁盘速度很慢,而纯文本顺序 io 读出来直接计算更快
        9
    c0878   125 天前
    写入量大没问题 关键看这些数据后续要来做什么 然后根据数据消费的情况 选择不同的存储引擎 可能 mysql 不是最好的选择
        10
    thomaswang   125 天前
    @stockCHEN 你的回到真的亮了, 去物联网公司面试, 面试官提的问题
        11
    thomaswang   125 天前
    @dongisking 我不会,在请教, 咱们一起看大神的留言吧
        12
    rockyou12   125 天前
    物联网用个屁的 mysql,上时时序数据库。估计是面试官故意给你埋雷
        13
    zhchyu999   125 天前
    可以试试分布式数据库,比如 Tidb 之类的
        14
    xiaoyang7545   125 天前
    这些数据要是丢 mysql 完全没有可读取性 ,不就是废数据了。
        15
    crossoverJie   125 天前
    楼上提到了 确实不能用 MySQL,我们现在就是这个物联网场景,写远远大于读,建议上 MongoDB.
        16
    scalaer   125 天前
    看你的描述我觉得 Hbase 挺适合的, 极端情况下,基于 LSM 树实现的 HBase 的写性能比 Mysql 高了一个数量级,读性能低了一个数量级。
        17
    zhangjessey   125 天前
    可以考虑上时序数据库。
        18
    taotaodaddy   125 天前 via Android
    时序数据库+1
        19
    agdhole   125 天前 via Android
    时序数据库
        20
    XiaoXiaoNiWa   125 天前 via Android
    RocketMQ + MangoDB
        21
    hzfyjgw   125 天前 via Android
    TDengine
        22
    feiyunruyue   124 天前
    时序数据库,这么大量,不知道 prometheus 能不能行。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1813 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 31ms · UTC 16:30 · PVG 00:30 · LAX 08:30 · JFK 11:30
    ♥ Do have faith in what you're doing.