首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  数据库

求教——物联网项目如何处理每小时生成的 100W 行数据?

  •  1
     
  •   youngce · 82 天前 · 1815 次点击
    这是一个创建于 82 天前的主题,其中的信息可能已经有所发展或是发生改变。

    大佬们,请问目前有 1000 个硬件设备,总共每小时产生 100W 行历史数据到 web 服务器,应该如何保存? 目前项目用的 redis 作为缓存和队列+mysql 数据库 后期主要用来作为历史记录查询,不会涉及修改、删除数据 大家有什么好的处理办法吗? 本菜鸡拜谢- -

    21 回复  |  直到 2019-02-28 08:46:04 +08:00
        1
    liyer   82 天前
    elasticsearch
        2
    jadec0der   82 天前
    关键词:Time series database
        3
    996635   82 天前
    分表就完了 1 小时 一百万 没多少数据
        4
    youngce   82 天前
    @liyer 简略的看了一下,似乎很强的样子,晚上研究研究,谢谢大佬赐教
        5
    lastpass   82 天前 via Android
    上 elasticsearch,如果只是缓存上 kafka。
        6
    maemual   82 天前
    一小时一百万,那么存储压力其实没有多大,怎么搞都可以。
    问题在于你到底有什么样的查询需求,这个比较影响数据怎么存储组织。
        7
    youngce   82 天前
    @jadec0der 时序性数据库吗?我不太了解这方面的,学习了
    @996635 分表就可以吗,我研究下,谢谢
        8
    youngce   82 天前
    @maemual 实际情况是,查找某段时间内的某个设备的历史数据,并形成相应的报表
        9
    qq316107934   82 天前
    @youngce #8 hbase + hive + grafana,完美解决你的需求
        10
    hilbertz   82 天前
    时序数据库就是帮你自动分表而已,再引入一套东西,没啥太大意义
        11
    runningman   82 天前
    @qq316107934 我空了试试
        12
    mggis0or1   82 天前 via Android
    kafka+druid
        13
    cheava   82 天前   ♥ 1
    “主要用来作为历史记录查询,不会涉及修改、删除数据 ” ,典型的时序数据
    可以上时序数据库加可视化组件,例如 opentsdb+grafana
    如果不搞集群,可以用 TICK 一件套(influxDB 单机开源),省心省事。
    6 楼说到点上了,感觉时序数据库对存储的优化还是很好的,查询需求比较影响用什么数据库
        14
    mywaiting   81 天前
    这个时候为什么不上战斗民族出品的 ClickHouse,只要你带宽足够,机器足够,目测一分钟 100W 都没有问题
        15
    leeyuzhe   81 天前
    influx db
        16
    coloz   81 天前
    我也做物联网,同样的需求,考虑用时序数据库,但做后台的同事说 mongoDB 也满足需求
        17
    Raymon111111   81 天前
    mysql 分库分表直接搞定
        18
    xuanchi   81 天前
    每小时 100W,一天 2400W,每月 7.2 亿条,这个放在 mysql 上妥妥不合适,数据量太大,当然分库分表数据量的问题可以解决,但是由于每月修改和删除,使用 mysql 这种关系型数据库没什么好处。
    每小时 100W,每分钟是 1.67W ,每秒钟 278 条,这个量级没什么压力,只要是个数据库,机器配置过得去都能抗住。
    从理论角度分析,时序数据库是首选,然后根据需求也可以把数据库同步到 mysql。hbase 查询有些问题,不建议用 habase,但是在实际中,搞个时序数据库不方便,总的来说 MongoDB 到时候挺合适的
        19
    dorothyREN   81 天前
    随便上个商业数据库就解决了
        20
    fengxuejianshi   81 天前
    航发?
        21
    youngce   80 天前
    @coloz 我也在考虑是不是用 mongodb 算了- -,不过项目很急,先直接存在 mysql,等进入维护阶段再优化了吧

    @xuanchi 分析得很透彻了,我也是考虑到时间长了以后行数会很多

    @mywaiting 创业公司,硬件配置可能暂时跟不上- -!也是愁人
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2541 人在线   最高记录 5043   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 19ms · UTC 13:06 · PVG 21:06 · LAX 06:06 · JFK 09:06
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1