V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
raynix
V2EX  ›  Grafana

最近我安装了 Loki + Promtail + Grafana,感觉这一组合可以取代 Elasticsearch + Logstash

  •  
  •   raynix · 2021-11-12 05:32:17 +08:00 · 3304 次点击
    这是一个创建于 1109 天前的主题,其中的信息可能已经有所发展或是发生改变。
    而且对资源需求很低

    Helm 链接: https://github.com/grafana/helm-charts/tree/main/charts/loki-stack
    我的 ArgoCD 配置笔记: https://raynix.info/archives/4103
    16 条回复    2021-11-14 06:25:49 +08:00
    tcpdump
        1
    tcpdump  
       2021-11-12 08:56:51 +08:00 via Android
    Loki 绝对坑,玩具级
    cheng6563
        2
    cheng6563  
       2021-11-12 09:11:50 +08:00
    用 Loki 还不如吧日志存 SQL 数据库
    GM
        3
    GM  
       2021-11-12 09:36:27 +08:00
    @tcpdump 怎么个坑法?官方开发商他们自己也在用的
    StarUDream
        4
    StarUDream  
       2021-11-12 09:45:26 +08:00
    Loki 的搜索和 es 比起来真的不够看,之前也在用 Loki ,后面还是转向 ELK 了。
    tcpdump
        5
    tcpdump  
       2021-11-12 09:49:53 +08:00
    @GM 自己数据量小玩玩可以,没有全文索引,快的前提是建立好 label 。旧数据无法重建 label 。没有冗余机制,全靠存储介质做冗余。不能 scroll 拉取数据,如果要拉大量数据就是渣渣。可以理解为给你 10TB 的硬盘,开几十个 grep 进程去检索数据的玩具。
    defunct9
        6
    defunct9  
       2021-11-12 10:11:45 +08:00
    @tcpdump 非反驳贴。loki 可以用 GFS 的 PV 做存储,GFS 做条带化。我们应用场景非常怪异,无论 ELK 或者 Loki 都做不到准实时,研发要求基本等同 tail -f , 搞得我们头大。
    Rwing
        7
    Rwing  
       2021-11-12 10:18:38 +08:00
    loki 确实感觉有点玩具,或者也可能是我不会用
    Rwing
        8
    Rwing  
       2021-11-12 10:19:00 +08:00
    但是 ELK 也确实太耗资源
    raynix
        9
    raynix  
    OP
       2021-11-12 10:40:28 +08:00
    @defunct9 这么高要求,难道是股票交易?
    defunct9
        10
    defunct9  
       2021-11-12 10:49:34 +08:00
    @raynix 也不是,就是研发的事多。用了 ELK 和 LOKI 都不行,还有一家厂商是用 Clickhouse 的,也不行,最后还真的是 tail -f 了
    raynix
        11
    raynix  
    OP
       2021-11-12 10:50:02 +08:00
    我上手 loki 的主要原因
    - 轻量级,开销小
    - LogQL 非常类似 PromQL
    raynix
        12
    raynix  
    OP
       2021-11-12 10:51:06 +08:00
    @defunct9 tail -f 怎么搜索和制图呢
    defunct9
        13
    defunct9  
       2021-11-12 11:05:02 +08:00
    @raynix 哈,搜索就是 grep ,不需要制图。仔细解释一下,研发上线的时候必须实时仔细观察日志输出,来判断程序是否正常。经常有上去不对,然后再下来重新打包发版的时候。而四大行审计要求研发只能有 view ,而不能有执行权限。这就麻烦了,系统中是有 ELK 的,准实时,研发都不认可;所以试用了 loki 、clickhouse 一溜够,都不满足。最后得亏程序没有部署在用户的 /home 目录下,就建立同组的用户,只有 view 权限,而上线管理员有执行权限,这样解决的。国内的事情都很复杂,各种堡垒机,数审设备。
    raynix
        14
    raynix  
    OP
       2021-11-12 15:09:33 +08:00
    @defunct9 我这只是个人实验,loki 比 tail 也最多慢 2 秒而已。你那差很多么?
    defunct9
        15
    defunct9  
       2021-11-13 19:26:00 +08:00
    @raynix 研发的要求是实时,有家是用 clickhouse 的,3 秒。loki 基本是 2 秒
    raynix
        16
    raynix  
    OP
       2021-11-14 06:25:49 +08:00
    @defunct9 硬需求,赞
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1280 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 23:52 · PVG 07:52 · LAX 15:52 · JFK 18:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.