V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
code2019
V2EX  ›  程序员

后台小白入门大数据运营,求推荐好的学习指南

  •  
  •   code2019 · 2019-08-20 21:16:45 +08:00 · 1670 次点击
    这是一个创建于 1682 天前的主题,其中的信息可能已经有所发展或是发生改变。

    应届,入职一个多月。分到了运营运维小组,主要是业务数据的运维指标开发。下半年准备使用大数据技术对运维平台进行架构改造。有百万级别的终端日志数据上报,需要搭建一个高可靠、低时延的数据接入平台,最好实现实时计算。

    之前主要玩 Java 的后台开发(主要是 SpringBoot、Redis、MySQL、Docker、K8S... 分布式微服务系统架构这一整套),实战过一些机器学习算法应用,感觉运维和大数据的技术栈都太丰富了,有没有大佬有好的学习文档、资料、视频。

    • Kafka
    • Zookeeper
    • Hadoop ( HDFS、MapReduce、YARN )
    • Spark
    • Flume
    • Kibana
    • ELK
    • Flink
    • Grafana

    之前也只有接触过,Kafka, Zookeeper,感觉一下子这么多技术栈,学习有点吃力! 有人可以讲讲目前互联网一线大厂的主流技术栈吗?

    3 条回复    2019-08-21 08:46:14 +08:00
    taogen
        1
    taogen  
       2019-08-20 22:19:54 +08:00 via Android
    看官方文档就好了呀。上面好多技术没听过,等大佬回答。先 mark 一下。
    pwrliang
        2
    pwrliang  
       2019-08-20 22:45:08 +08:00 via Android
    我们用 presto 提供 t+1 数据的 adhoc 查询,impala 提供近实时的数据查询和报表…内部有自己开发的报表和 adhoc 查询工具…我司如果是运营的话,基本上都是和 SQL 打交道…数据运营不全是技术岗,不会让自己搭建平台的。不知道你这个大数据运营是偏技术的还是偏运营的…
    rootzeal
        3
    rootzeal  
       2019-08-21 08:46:14 +08:00 via Android
    打个广告 关于大数据的😂
    https://mp.weixin.qq.com/s/4S4aQ4sFrsWROjPHiO-2dg
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3000 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 14:43 · PVG 22:43 · LAX 07:43 · JFK 10:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.