首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

物联网大数据用什么数据存储方案

  •  
  •   daijinming · 53 天前 · 783 次点击
    这是一个创建于 53 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如果要搭建物联网大数据平台,接收来自众多设备的时许数据,以及分析查询,预警等功能,这样的要求需要采用什么样的数据存储方案,sql 数据库还适用吗

    15 回复  |  直到 2019-08-28 18:07:21 +08:00
        1
    nnnToTnnn   53 天前
    推荐使用 apache hadoop 当然 mysql cluster 也能支撑,但是生态没有 hadoop 的强,这是我了解到的
        2
    chucongqing   53 天前
    hdfs
        3
    qihao   53 天前
    influxdb、opentsdb 时序数据库
        4
    daijinming   53 天前 via Android
    @qihao 朋友这种数据库好用吗,相对 sql 而言
        5
    netnr   53 天前
    说个文件数据库方案,用 sqlite,按设备按日期分文件(夹)存储
    可以用常规的关系型数据库存储设备列表,每一个设备所产生的数据,分文件夹,分月或周或天存储,分的颗粒度较小时,可以间隔一段时间生成中间统计(按天存储时,一个月完,生一张月统计表,一年完生成一张年表,方便后续查询统计)
        6
    freeznet   53 天前   ♥ 1
    时序数据的话无脑推 timescale db
        7
    huiyifyj   53 天前
    hadoop 系列 HBase 数据库
        8
    funky   53 天前   ♥ 1
    无脑 timescaledb +1
        9
    daijinming   53 天前
    @huiyifyj 听到 HBase 感觉好重呀,好上手吗,我们这边都是 SQL 数据库,真是有点闭塞了
        10
    huiyifyj   53 天前
    @daijinming #9
    HBase 是列式数据库,与平常的数据库有些反向,所以只要懂过这之中的区别就应该可以上手。
        11
    ccl945   53 天前
    druid,clickhouse (来自一个大数据之神的建议)
        12
    kifile   53 天前
    看数据量级,每日大文件增量(GB 单文件),上 HDFS.
    小文件增量,数据总量 TB 级别,考虑分布式部署,使用 Greenplum,
    小文件增量,数据总量 TB 级别,单机可以支撑,使用 ClickHouse
        13
    kifile   53 天前
    ps: 如果时序数据监控,influxdb 有一整套监控方案
        14
    kifile   53 天前
    就是开源版本不能分布式部署
        15
    Ley   53 天前 via Android
    可以看一下 Microsoft Azure HD Insights,他的文档里介绍了一些解决方案
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   773 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 23ms · UTC 19:45 · PVG 03:45 · LAX 12:45 · JFK 15:45
    ♥ Do have faith in what you're doing.