@Chayebao 就一个人，不要搞那么复杂，向钱看齐就好了。学 DBT/dataops 。真的要弄实时同步，也不要采用 finkCDC 了，直接用链接服务这类的工具。

@dayeye2006199 我也觉得 airflow 算行业标准了。很感谢 Dolphinscheduler 开源，但是采用微服务把调度系统写的跟 web 后台管理系统似的，我们之前部署的毫无可用性。

如果你们的团队规模较大，技术水平也不错，可以考虑使用 fink 。

但是如果只有几个人，不建议采用如此复杂的技术栈（例如 Hadoop\fink ），因为这可能需要长时间等待才能看到成果。（举个例子，开源 fink cdc 如何整库同步，你需要多长时间解决）。

小规模改动：结合 Airflow 和 dbt 。Airflow 可以处理调度和数据传输（可以利用现成的插件），而 dbt 则用于统一的数据转换（ Transform ）开发。dbt 是未来的趋势，但需要做好持续集成和持续部署（ CI/CD ），可以参考楼上 GitLab 的开源方案(我们之前也参考 gitlab 的)。

大规模改动：替换数据处理和数据仓库部分，但避免使用 Hadoop 生态系统，因为它过于复杂且难以快速看到成效。建议使用 ClickHouse 或其他 OLAP 类型数据库。

不要使用 Dolphinscheduler ，部署都不知道多少台机器了，直接单机 airflow+mysql ，杠杠的。
总的来说，把带薪学习的时间放在 DBT / CICD /DATAOPS 。