这是一个创建于 1932 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近项目想要搭建一个数据接入平台，但是苦于刚刚接触运营运维，对很多技术栈不太了解，想请教一下各位。
目标
实现一个数据平台，对终端的操作日志数据上报（例如，客户端点击事件日志，操作请求成功 /失败日志等等），之前一直使用 InfluxDB 进行数据的存储，但是用户量上来，内存就爆了。 想要重构这个服务，搭建一个数据接入平台进行统一的数据采集存储、自定义数据格式、监控等等功能。同事配合 Grafana 进行数据显示。这里的可能更多是面向业务运维的东西
目前了解到的一些技术栈
- prometheus
- 基于 Flume+Kafka+Spark-Streaming 的实时流式处理
- Flink ???（还没有了解过）
- 第三方接入平台：使用阿里云 / 华为云的数据接入服务？
- ...
- 有运营运维方面的前辈，可以帮忙指导一下嘛。目前国内一线互联网运营运维平台都使用哪些技术呢？希望能给出一点意见帮忙进行技术选型呢？
- 或者，你们的运营运维平台都使用的什么技术栈呢？
 |
1
opengps 2019-08-12 08:18:42 +08:00 via Android
采集只进消息队列，避免对原业务造成影响
|
 |
2
bantao 2019-08-12 09:40:06 +08:00
ELK
|
 |
3
kennyliu 2019-08-12 17:27:38 +08:00
InfluxDB 时序数据库了解一下 纳秒级别数据记录
|
Select Language