V2EX 首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

想把日志存入到 es 里面,不使用 Logstash 直接存到 es 可以吗?

  •  
  •   mentalidade · 11 天前 · 1179 次点击

    日志量大概一天 200 万的样子,以后可能会变大。

    原因:
    1.我传入的就是格式化好的 json 数据,看 Logstash 就是对输入的数据格式化输出到 es 里,所以我感觉这个 Logstash 对我没有什么用
    2.主要就是担心性能了,那传入 kafka,然后输出到 es,是不是可以?
    
    23 回复  |  直到 2017-10-13 13:41:27 +08:00
        1
    Cooky   11 天前 via Android
    es 可能抗不住,嫌弃 logstash 的话可以试试 rsyslog
        2
    Cooky   11 天前 via Android
    哦不对,平均时间的话应该抗得住,集中一块就费尽了
        3
    lfzyx   11 天前
    可以的,我就没用 logstash,而是自己用 python 写的
        4
    xiaoshengyige   11 天前
    kafka 靠谱。我们线上就这么用的。每天大概 400w+日志,供参考。
        5
    hyperdak288   11 天前
    Logstash 性能很差
    你可以不用

    filebeat 直接怼文件也行
        7
    zxc337   11 天前
    直接上 flume 吧
        8
    FiveDDD   11 天前
    推荐 flume 和 kafka, logstash 真是性能差
        9
    jybox   11 天前
    不需要处理日志的话直接用 filebeat 好了,都是一家的东西,资源占用是 logstash 的十分之一
        10
    WispZhan   11 天前 via Android
    有人对比 Graylog 么?
        11
    binjjam   11 天前
    我是自己用 python 写脚本导入的,每天 1500~2000W 记录 8~12G
        12
    Lax   11 天前
    输出 json 只是替代 logstash 的格式化功能,logstash 还有别的用途。
    当然如果不在意数据完整性的话,没必要 logstash 以及 filebeat 或其它的 beat。
    如果还想用 kafka 解决这些问题,何必舍近求远呢?
        13
    yzmm   11 天前
    用官方的 java 的 API 就可以了
        14
    S1ahs3r   11 天前
    filebeat 挺好的,内存 60M 左右跑的起来
        15
    mentalidade   10 天前
    @Cooky 时间不固定,中午 12 点左右和下午 5-8 点之间会比较频繁。因为有 java,node,NGINX 等很多产生的日志,在考虑是写入文件收集还是写入 kafka,然后输出到 es
    @xiaoshengyige 直接写入 es,担心会阻塞住,这个可以
    @lfzyx 因为很多方面很多种不同的日志要手机,全部直接写入到 es 不知道会不会导致阻塞严重?
        16
    mentalidade   10 天前
    @hyperdak288 Beats 可以 tcp 直接发送业务 log 吗,因为有的不写入到文件,按照固定格式写入
        17
    mengzhuo   10 天前
    可以~才 200w 每天
    我们是 15w 每秒

    kafka-es 3 台 es 抗住了
        18
    Jakesoft   10 天前
    @mengzhuo 我去, 你们什么业务日志量这么大
        19
    mengzhuo   10 天前
    @Jakesoft #18 这就不能说了
        20
    fbbin   10 天前
    @WispZhan 性能很差的
        21
    mentalidade   10 天前
    @mengzhuo 厉害了
        22
    badttt   10 天前
    10W 每秒,自己写的 etl 工具采集
        23
    owenliang   10 天前
    需要批量写,单条写肯定是扛不住。
    DigitalOcean
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   2495 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.0 · 57ms · UTC 06:07 · PVG 14:07 · LAX 23:07 · JFK 02:07
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1