V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hao0
V2EX  ›  Java

分享一款分布式任务调度平台

  •  
  •   hao0 · 2017-02-20 10:35:04 +08:00 · 8578 次点击
    这是一个创建于 2615 天前的主题,其中的信息可能已经有所发展或是发生改变。
    14 条回复    2018-11-09 17:03:57 +08:00
    BuilderQiu
        1
    BuilderQiu  
       2017-02-20 11:39:34 +08:00
    Star ,看起来不错,研究看看
    Koyoter
        2
    Koyoter  
       2017-02-20 11:59:11 +08:00
    已 Star
    Powered
        3
    Powered  
       2017-02-20 12:05:03 +08:00 via iPhone
    帮顶
    sunshinez1128
        4
    sunshinez1128  
       2017-02-20 13:27:14 +08:00
    这个构架感觉是不是太重了,现在确实缺少一款开源的调度工具,尤其是支持任务依赖的
    hao0
        5
    hao0  
    OP
       2017-02-20 16:30:12 +08:00
    @sunshinez1128 主要想能尽量实时执行任务,现在主要就依赖 ZK 通知,或者自己走 Network ,也有一些其他可以参考的开源项目:

    + dangdangdotcom.github.io/elastic-job/
    + https://github.com/xuxueli/xxl-job

    但都不怎么轻或者好用,或者你有什么比较建议的方案。
    hao0
        6
    hao0  
    OP
       2017-02-20 16:30:57 +08:00
    unique
        7
    unique  
       2017-02-20 17:00:46 +08:00 via iPhone
    star
    kevinlee
        8
    kevinlee  
       2017-02-20 18:27:44 +08:00
    支持调度其他脚本语言或者 shell 脚本吗
    miaoever
        9
    miaoever  
       2017-02-20 23:48:32 +08:00
    比较成熟开源任务调度系统有:

    1. Azkaban [Linkedin]
    https://azkaban.github.io/

    2. Airflow [Airbnb]
    https://github.com/apache/incubator-airflow
    hao0
        10
    hao0  
    OP
       2017-02-21 10:54:19 +08:00
    @kevinlee 嗯可以,需要实现 ScriptJob ,配置下命令,具体可见 README.md
    hao0
        11
    hao0  
    OP
       2017-02-21 11:14:00 +08:00
    @miaoever 这两个确实比较专业,但似乎有点重,抽时间调研下,贵司已投入生产?
    stackboom
        12
    stackboom  
       2017-02-27 14:02:55 +08:00
    已 star 最近正想重构一下我们的任务调度站点,我们的实现是 Quartz+mq
    beneo
        13
    beneo  
       2017-03-01 12:11:54 +08:00
    难道就我一直在用 spring batch + quartz 么
    Variazioni
        14
    Variazioni  
       2018-11-09 17:03:57 +08:00
    找了几个框架。。想集成到 Spring Cloud 里面。。发现难度都挺大的。。都是用的 spirng boot 1.x。。改成 2.x 一堆问题。。头大。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1299 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 17:41 · PVG 01:41 · LAX 10:41 · JFK 13:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.