Chayebao 最近的时间轴更新
Chayebao

Chayebao

V2EX 第 518994 号会员,加入于 2020-11-23 13:38:10 +08:00
Chayebao 最近回复了
分母来咯 [email protected]
支持一下
135 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@heyline 好的 研究研究
135 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@yingqi1 flinkCDC 已经用上了,没法换了,现在要改进的是 ETL 。3 套从库的 ETL ,mysql 的存储过程都是一样的,每套都有 10 多张表,我想揉到一起管理
135 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@yingqi1 目前数据开发就我一个人,项目不大,所以只简单用了 flinkCDC 做同步,mysql 存储过程+Dolphinscheduler 做 ETL 。谢谢大佬 我研究一下。flinkCDC 已经定好了做实时同步了 可能就没法改了
135 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@noparking188 tidb 需要的资源呢,我们打算把 mysql 存储过程优化掉的原因就是因为存储过程太占资源,想用 java 去跑。
135 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@noparking188 意思是 我把我的 ETL 任务 sql 放到 tidb 上,还是用 dolphin 去调度? 那这个跟我使用 mysql 存储过程+dolphin 调度 一样的?
135 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@dlmy 我现在启动了 3 套 flinkCDC ,每套只有一个 JOB ,分别将主站的数据,分 type 同步到 3 个库,然后在 3 个分库,再起 flinkCDC ,实时处理数据 到 dws 层?
135 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@noparking188 我们这边需求有点不一样 BCD 库要能单独拿出来,所以是 3 个 mysql 地址。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2780 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 07:25 · PVG 15:25 · LAX 00:25 · JFK 03:25
Developed with CodeLauncher
♥ Do have faith in what you're doing.