这是一个创建于 1527 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司内部有各种面向内部员工的系统，里面往往有各种统计类的需求。现在的问题是：
- 有些统计需要涉及好几张大表的 count,group by 等操作，搞出来接口性能捉急，风险很高；
- 对实时性要求高。一旦有成交单之类的操作，往往需要快速在系统上展现数据。 我们内部也有离线计算平台，有时一些复杂或大数据量的统计接口我们会对接离线平台上的数据，提高性能，但实时性达不到要求。
我们考虑过对接 MQ 来做流式计算，但总觉得自己去做流式计算性价比很低。调研过市面上的一些实时计算框架（像 flink ），目前来看成本太高，而且有一种大炮打蚊子的感觉。所以现在真的很纠结该怎么去做。
简单概括下上面的问题，就是一句话：在公司各个阶段下，用什么方式来实现实时计算的性价比最高
 |
1
zellalan 2020-02-17 16:29:30 +08:00
板凳搬好了 等一波大佬回答
|
 |
2
cabing 2020-02-17 16:31:56 +08:00
上 clickhouse
|
 |
3
unicloud 2020-02-17 16:36:56 +08:00 via iPhone
这个问题提得好。
以我司的业务量和数据量来说似乎 SQL 的聚合函数配合 group by 能搞定。 |
 |
4
glacer OP @unicloud 我们主要是有部分千万级的表需要关联统计，而且在业务高峰内部也会有 600 多人使用，性能还是跟不上的。
|
 |
5
shyrock 2020-02-17 16:59:28 +08:00
业务数据和统计数据分库吧，统计数据可以延后定期刷新，不要在业务表上直接聚合动态计算数据。
|
 |
6
xjay 2020-02-17 18:26:50 +08:00
piwik 呢？
|
 |
7
DEVN 2020-02-17 18:34:35 +08:00 via iPad
消息队列，数据流计算，亿级数据检索等各类大数据组件堆砌而成。问题多得亚比。
|
Select Language