V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
d754903977
V2EX  ›  问与答

有大神指点下腾讯云 CDN 的日志用什么分析比较好嘛

  •  
  •   d754903977 · 2017-01-31 13:28:32 +08:00 · 1838 次点击
    这是一个创建于 2646 天前的主题,其中的信息可能已经有所发展或是发生改变。

    腾讯云 CDN 的日志有点不同...

    20170131000025 183.XXX.XXX.XXX www.XXX.COM /XXX.php 137 2 1046 514 http://www.XXX.COM/xxx.html 1 "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36" "(null)" POST HTTP/1.1 hit

    他们的日志内容依次包括:请求时间、访问域名的客户端 IP 、被访问域名、文件请求路径、本次访问字节数大小、省份、运营商、 http 返回码、 referer 信息、 request-time(毫秒)、 User-Agent 、 range 、 HTTP Method 、 HTTP 协议标识、缓存 Hit/Miss

    用普通的日志分析软件不好分析...

    5 条回复    2017-02-01 10:16:46 +08:00
    lakewong
        1
    lakewong  
       2017-01-31 14:44:00 +08:00 via Android
    Excel 表格,粘进去就可以。
    Terenc3
        2
    Terenc3  
       2017-01-31 14:54:15 +08:00
    用 ELK ,我也用腾讯的 CDN ,我用 shell 每天凌晨 1 点下载到本地,然后用 filebeat 读取分析。

    前端的 nginx 和 apache 日志也可以用 ELK 分析。

    类似这个:使用 Elastic Stack 处理 nginx 日志
    https://enginx.net/2016/11/27/%E4%BD%BF%E7%94%A8elastic-stack%E5%A4%84%E7%90%86nginx%E6%97%A5%E5%BF%97.html

    可惜 v2 贴不了图...
    snnn
        3
    snnn  
       2017-01-31 18:41:22 +08:00
    Python 。按需写几行脚本,最多一下午就搞定了。
    mengskysama
        4
    mengskysama  
       2017-02-01 02:48:46 +08:00 via iPhone
    elk 是不错就是套件莫名吃机器,检索报警也方便,稍微带量至少 8g 内存。
    zhiyuan91
        5
    zhiyuan91  
       2017-02-01 10:16:46 +08:00
    可以试试 splunk
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2085 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 01:40 · PVG 09:40 · LAX 18:40 · JFK 21:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.