V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
CoderGeek
V2EX  ›  程序员

请问有什么好的三方 API 请求统计工具

  •  3
     
  •   CoderGeek ·
    codeyung · 2018-04-16 14:25:06 +08:00 · 2993 次点击
    这是一个创建于 2173 天前的主题,其中的信息可能已经有所发展或是发生改变。
    1. Restful API 风格的接口
    2. 按照项目统计每个接口的访问次数比如( 1 分钟 1 小时 1 天)
    3. nginx 日志 or tomcat 日志 or 自定义?
    4. 暂时只需统计 API 次数、QPS 简单数据(没有其它特殊要求 不代表以后没有 QAQ )
    
    看了一下阿里 yun 监控和其它三方( elk ?) 没有找到一个可以支持 rest 格式的三方
    比如 GET /zoos/1 想统计成 GET /zoos/{ID} 
    多台服务器 每台服务器上会有多个应用
    
    现在想到的
    自定义日志-多台服务器日志统一处理(需要改动代码)
    有没有什么好一点的解决方案呢
    
    第 1 条附言  ·  2018-04-16 16:13:44 +08:00

    看的三方类似于这个 网站访问日志数据统计与报警.

    第 2 条附言  ·  2018-04-16 16:44:10 +08:00
    第 3 条附言  ·  2018-04-20 15:50:09 +08:00
    暂时写的自定义日志 用制表符分割 然后用日志 分析 处理完成了 ~ rest 风格就用正则转换了一下
    比如 /xx/12/xx or /xx/12 改成了 /xx/{id}/xx or /xx/{id}
    11 条回复    2018-04-16 17:56:12 +08:00
    barbery
        1
    barbery  
       2018-04-16 15:10:33 +08:00
    ??? nginx access log 不就可以了吗?可以按你的需求配置相应的格式 解析一下就好了,懒得弄的话也可以直接用阿里云的日志服务
    goodryb
        2
    goodryb  
       2018-04-16 15:56:41 +08:00
    楼主你明显跑偏了,如 1 楼所说,你应该看的是阿里云日志服务 SLS,而不是云监控

    分析最好了通过日志,对业务侵入性比较小,埋点的话也可以,但比较麻烦

    这种日志都能收集+实时分析,装个 agent 就好了
    LeungJZ
        3
    LeungJZ  
       2018-04-16 16:01:18 +08:00   ❤️ 1
    CoderGeek
        4
    CoderGeek  
    OP
       2018-04-16 16:08:01 +08:00
    @barbery
    ali 的日志服务不支持 rest 格式
    @goodryb
    你俩的意思是 拿出来日志之后 自己做解析
    比如 GET /zoos/1 我就改成 GET /zoos/{ID} 这样?
    然后在把处理后的日志放在 ali ?
    我看的是[网站访问日志数据统计与报警]( https://help.aliyun.com/document_detail/55631.html?spm=a2c4g.11174283.6.657.efPLie).
    CoderGeek
        5
    CoderGeek  
    OP
       2018-04-16 16:12:29 +08:00
    @goodryb
    埋点感觉有点不合适 改动小多
    goodryb
        6
    goodryb  
       2018-04-16 16:14:26 +08:00
    @CoderGeek #4 日志服务是这个 https://www.aliyun.com/product/sls?spm=a2c4g.11186623.765261.359.9f2qeU
    你可以详细了解下,日志解析有多种方法
    一般使用 nginx 自带的 access.log ,或者你为了更精确的提取信息,可以自己打印业务日志,从业务日志去做收集分析
    CoderGeek
        7
    CoderGeek  
    OP
       2018-04-16 16:20:36 +08:00
    @goodryb
    是的 我问过他们 给我的解决方式就是 我需要自己再处理一遍日志
    要把 GET /zoos/1 改成 GET /zoos/{ID} 到自定义日志
    再用你发的这个处理 但是 我还需要看 不同纬度的 这个好像没有
    goodryb
        8
    goodryb  
       2018-04-16 16:22:26 +08:00   ❤️ 1
    @CoderGeek #7 https://help.aliyun.com/document_detail/53608.html?spm=a2c4g.11186623.6.640.8ycbg5

    前面说的都是如何收集,分析可以看看这个链接
    CoderGeek
        9
    CoderGeek  
    OP
       2018-04-16 16:33:54 +08:00
    @goodryb
    看到了 其实还是需要我自己处理一遍日志 再上传到你说的这个日志服务
    那我之前看的那个 yun 监控 是个啥 他也有日志管理那块 这两个业务...
    goodryb
        10
    goodryb  
       2018-04-16 17:53:57 +08:00   ❤️ 1
    @CoderGeek #9 yun 监控就是云监控 CMS,他的日志管理是以告警位置。
    日志服务是针对日志的一整套解决方案,包括日志收集、日志分析、日志消费、日志存档(依赖于存储产品)
    CoderGeek
        11
    CoderGeek  
    OP
       2018-04-16 17:56:12 +08:00
    @goodryb 可以的 我明天试一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3215 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 11:59 · PVG 19:59 · LAX 04:59 · JFK 07:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.