KJH 最近的时间轴更新

KJH

V2EX 第 636697 号会员，加入于 2023-07-01 15:34:13 +08:00

今日活跃度排名 2588

KJH 提问技术话题好玩工作信息交易信息城市相关

根据 KJH 的设置，主题列表被隐藏

二手交易相关的信息，包括已关闭的交易，不会被隐藏

KJH 最近回复了

5 小时 6 分钟前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@v2day 好的，谢谢大佬，我了解下

8 小时 0 分钟前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@v2day 大佬请教个问题，目前 doris 作为 ods 层，mysql-> doris 已经验证都 ok 了没啥问题，但目前由于产品在云上，可选择的工具很少，这就导致了 dwd dws 层的数据不太好生成，
如果使用数据库自带的 insert into select 不太好监控执行情况以及后续的运维，

想请教下，目前生成 dwd dws 大宽表比较好的方案是什么

15 天前

回复了 mylastfire 创建的主题 › 生活 › 好奇大伙每月花在这方面的钱有多少呢？

@PoIKIloThERMer 不用了，难使

17 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@haimianbihdata 感觉这个方法可以哦，我尝试尝试，感谢感谢，

18 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@NoString 是有考虑过轻量级删除，但是后面想要长久的稳定运行，总觉得不是最终方案，可以作为临时方案过度一下，我们也考虑考虑

@bitmin 那还挺新的

@ForMrFang 阿里可选择的东西确实比较多

@1996wang 哈哈正在写方案了，后面就测试下性能

@ChenKeLiang 我了解下

@haimianbihdata 我们 flink 只对接了数据仓库，想要再对接其他的涉及到服务器成本和开发成本，现在都在降本增效 T.T

18 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@NotLongNil ok 我们也考虑试试，谢谢

@bitmin 你的 doris 是哪个版本呀

19 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@nedqqcc @yh7gdiaYW 好的，目前在尝试 doris

@pulutom40 @superliy 云服务商不支持 starrocks [捂脸] 只能考试 doris 了

19 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@v2day 看来只能是从 StarRocks 和 doris 这里面入手了，整体架构还得在调整下，但我们目前已经有了 MYSQL 做数据仓，不太可能替换为 StarRocks ,只能考虑数据仓到 StarRocks 这步。

19 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@jon202107 这个方案我们也考虑过，查询的时候带版本号意味着也要做去重的那种操作，我们改动比较大，所以后面放弃了

@JRay 我上午了解了下，StarRocks 或者 doris 确实是比较合适的方案，我再深入研究研究

@vacuitym final 相当于合并了，而且没办法表关联查，后来我们就 pass 掉这个方案了

@glacer 通过查询指的还是 final 或者 argMax 这些近些处理吧

@NotLongNil 是的，有考虑个轻量级删除，不过还没实际测试，我想的是如果每 5 分钟删一次，会不会有其他潜在问题，后面我测试下

19 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@ranxy 我们比较依赖云服务商，他们没 tidb 这个产品 [捂脸]

@suixn 好，刚刚有位大佬也让我看了看 doris ，我看了下这两个确实比较适合数据频繁更新的场景，我再深入研究研究

@xiaolongorigino 宽表确实是在计算引擎中生成的，报表查询的时候通过 ck 查宽表，hbase 我了解下

@Desdemor 确实，我们更新的时候，并发一多，处理的任务就堆积下来了

» KJH 创建的更多回复