V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
BrightLiao
V2EX  ›  程序员

数据技术选型是一个难题,分享一下项目中的实战经验。

  •  
  •   BrightLiao ·
    gmlove · 2022-10-31 09:50:17 +08:00 · 1275 次点击
    这是一个创建于 542 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在数据进入到数据平台之后就可以正式开始构建数据应用(如数据报表和数据指标)了。

    如何实现呢?首先要决定的就是使用什么样的开发语言及如何构建开发环境。这两方面的相关决策将在很大程度上影响后续数据开发的组织和管理。如果决策得当,后续数据开发将能够很轻松的开展起来,否则,则可能将团队带入泥潭。

    写了一篇文章,分享了我们在实践过程中的一些思考和选择,这些经验对于我们是很受用的。总结起来,就是:

    • 尽量首选sql进行数据开发,其次选择Python,再次Scala
    • 扩展sql语法,增强其功能以应对复杂的计算逻辑
    • 使用Makefile与调度系统进行集成
    • 不要构建太多集群环境

    内容结构

    全文阅读,请移步: https://brightliao.com/2021/04/01/data-development-language-and-environment/

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3323 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 12:58 · PVG 20:58 · LAX 05:58 · JFK 08:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.