V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
corningsun
V2EX  ›  问与答

云主机间歇性 CPU 100%,怎么排查?

  •  
  •   corningsun · 2022-12-01 16:51:28 +08:00 · 1503 次点击
    这是一个创建于 749 天前的主题,其中的信息可能已经有所发展或是发生改变。
    云主机偶尔会 CPU 100%,导致接口响应特别慢,一天大概两三次,持续时间几十秒

    时间不固定,和请求量也没有关系

    只部署了 Tomcat 跑 java8 服务,还有其他监控客户端之类的。

    有什么方法能抓到是哪个进程导致的吗?

    难点主要是偶发性强,持续时间短,不方便在线分析。
    12 条回复    2022-12-02 10:51:32 +08:00
    dogsHappyDay
        1
    dogsHappyDay  
       2022-12-01 17:00:28 +08:00
    找主机厂商提工单
    57L49t45Jo9IJvge
        2
    57L49t45Jo9IJvge  
       2022-12-01 17:05:40 +08:00
    top 命令输出到文件 然后 grep 简单粗暴
    57L49t45Jo9IJvge
        3
    57L49t45Jo9IJvge  
       2022-12-01 17:06:21 +08:00
    一般云监控上有进程级别的监控 找一下 当时 100%那个点的 进程 pid
    corningsun
        4
    corningsun  
    OP
       2022-12-01 17:43:12 +08:00
    @youzi0516 谢谢。

    问了,用的云主机的没有这种监控。有啥开源的监控工具能做这个吗,自己抓实在太麻烦了?
    wu00
        5
    wu00  
       2022-12-01 18:10:03 +08:00
    自己装个系统监控存起来第二天分析呗,比如 prometheus + grafana
    如果不是机器中毒有可疑进程,那么大概率是这个 java 服务中的某些功能(线程)导致
    lhx2008
        6
    lhx2008  
       2022-12-01 21:04:10 +08:00   ❤️ 1
    atop 可以抓历史的所有进程,要配一下 systemd ,然后就可以看到是哪个进程有问题
    pipapa
        7
    pipapa  
       2022-12-01 21:08:53 +08:00   ❤️ 1
    @corningsun netdata
    zhengjianyang
        8
    zhengjianyang  
       2022-12-01 22:43:38 +08:00
    同样的问题、同求排查方案
    40EaE5uJO3Xt1VVa
        9
    40EaE5uJO3Xt1VVa  
       2022-12-01 22:59:28 +08:00
    排查不出来也没关系,毕竟母鸡 CPU 突然跑高也会在你的 VPS 上体现出现。

    我的意思是,可能不是你的程序问题。是物理机 CPU 因为莫名原因突然跑高,连累了你的小鸡。
    coolloves
        10
    coolloves  
       2022-12-02 09:27:33 +08:00
    跑一段时间,记录下
    while true;do top -b -n 1 >> /tmp/top;sleep 1;done
    yestodayHadRain
        11
    yestodayHadRain  
       2022-12-02 10:24:02 +08:00 via iPhone
    看下 crontab 吧
    corningsun
        12
    corningsun  
    OP
       2022-12-02 10:51:32 +08:00
    @lhx2008 非常感谢,atop 很适合我,可以设置采集间隔,然后回溯到任意时间。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2670 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 15:22 · PVG 23:22 · LAX 07:22 · JFK 10:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.