能動態添加任務,任務之間有依賴關係,任務需要分配系統資源,如硬盤、帶寬、內存、CPU 等等。任務完成後會有臨時資源傳遞給下游任務。當所有下游任務使用完臨時資源後能自動釋放資源( reference count )。調度算法能合理分配資源,避免硬盤、帶寬、內存、CPU 超載等等。 任務僅限單機運行,不考慮分佈式場景。當然如果有分佈式的方案能適用於單機的話也可以。 語言不限,但最好有 Python / Golang 的庫。
1
xuanbg 2020-09-05 14:37:30 +08:00
任务调度框架多得很,但能限定硬件资源的没见过。。。
楼主可以用搞一个 Docker 容器把任务调度服务装进去,利用 k8s 来实现资源管理。 |
2
swulling 2020-09-05 14:41:17 +08:00 via iPhone
k3s 加 argo
|