消息队列的一些折腾心得

[xiangdong1987]

最近一段时间都在整理知识体系，还没整理完备，然后就被拉着做新的消息队列的接入，原来使用 kafka，切到了 rabbitmq。切换还算顺利，同时又有同事想做日志系统的想法。我突然灵光一线，为什么不能 filebeat + 消息队列实现集中式日志管理呢？

调研

• kafka 适合日志型 队列服务，采取订阅式的消息拉取
• rabbitmq 功能能丰富，适合业务逻辑使用，不建议用作日志收集
• 对比表格，不支持 markdonw 表格只能上源链接了： https://xiangdong1987.github.io/filebeats/2019/08/26/Blog-filebeat.html
• filebeats 支持 kafka 不支持 rabbitmq

折腾 filebeats

• Go 的 kafka 已经折腾过了，为了给自己练练手准备让 filebeats 支持 rabbitmq。
• 找到了 https://github.com/sidleal/mqttout
• 自己尝试使用发现新版 filebeat 的接口有些改变，而且他用的链接 rabbitmq 的底层库也比较老，唯有自己动手
• 在原有的基础上做了改动 https://github.com/xiangdong1987/mqttout 感觉能用，用的到大家随便用。

总结

学习的过程就是想到就去实践，不懂得就去学习，最后达成目标，估计这就是一个大龄程序员还能继续码代码的动力了。继续整理知识体系去了。留下一个思路，用 kafka+filebeats 实现模调系统以及日志系统。或者听听各位大神的意见。

[defunct9]

filebeat kafka es kibana，我司有套这样的玩意

[alexzhu592]

直接上 kafka + flume

[rrfeng]

灵光一线？
这明明是成熟的方案……

[CEBBCAT]

楼主大大，歪个题想问问您找实习的事儿。

想请教一下 2020 毕业的软件工程想在这个秋招找份 Golang 实习需要什么技能？之前在滴滴实习过，但只是打杂。拿过一个蓝桥杯国赛二等奖，有一点薄薄的项目经验，目前已经熟悉 Golang 基本语法了，还写过一个 Golang 小工具：
https://gist.github.com/Zhang-Siyang/3ad1ffe68f4d65901d6a5367894e96d7

[Pythondr]

说个小众的 ，pulsar 了解一下

[JerryKwan]

@Pythondr 据说 Pulsar 比 Kafka 更灵活，在生产中用过没？

[LeeSeoung]

filebeat + elk?

[xiangdong1987]

@defunct9 #1 嗯 我是 php 栈的 java 栈玩不转 所以想 用 php 消费日志 自己做个日志或者模调之类的 哈哈

[xiangdong1987]

@CEBBCAT #4 建议直接投抖音 我司 不是 Go 栈

[xiangdong1987]

@Pythondr #5 我去了解下

[helloSpringBoot]

@CEBBCAT 字节想投吗，可以内推

[robertlyc]

nsq 哪

[lbp0200]

别折腾，https://www.jianshu.com/p/1b7fdb1cff3c