V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
find456789
V2EX  ›  问与答

1G1H 的阿里云服务器,用了阿里云的容器服务,网站打不开,应该如何排查呢,各位大哥

  •  
  •   find456789 · 2018-10-31 11:03:25 +08:00 · 1121 次点击
    这是一个创建于 1966 天前的主题,其中的信息可能已经有所发展或是发生改变。

    服务器上,我个人没有安装任何软件,都是阿里云自带的

    我直接把这个服务器作为阿里云容器服务的 Swarm 节点

    部署了 7 个容器,

    分别为:

    4 个网站,其中 3 个网站每天 1 个访问量左右,只有一个,每天 200 访客,网站都上了 cdn 的

    1 个 redis,用来做定时任务的消息队列, 每天只会发送 2 个消息

    1 个 celery,用来执行定时任务,每天只会执行 2 个任务,请求某 api,把数据入库到 rds 数据库

    1 个 caddy,作为 4 个网站的反向代理

    网站最近 2 个月,大约死机过 3 次

    症状为,网站全部打不开

    查看后台,的 cpu 历史记录,发现死机的时候,cpu 都从平时的 10%左右,爬到了 60% 70% 80%

    前几次死机我不知道怎么排查,但是今天早上死机的时候,我发现可以正常登陆我的服务器,可以进行 shell,top 等操作, 说明并不是机器死了,而是阿里云的容器服务挂了

    后来我把服务器 sudo reboot 了 1 下, 网站就恢复了

    以下是我截图的性能报表,希望有大神可以帮帮忙看看怎么回事, 我找过阿里云提工单了, 也没有找出原因,最后阿里云找我要密码,说要登陆上去看看,我就没理他们了

    报表截图自 云监控控制台》主机监控 https://cloudmonitor.console.aliyun.com/index.htm

    可以从图上看出有 2 个高峰点,这 2 个点就是最近死机的时间点

    avatar

    avatar avatar avatar

    谢谢大家

    9 条回复    2018-10-31 11:28:04 +08:00
    ZavierXu
        1
    ZavierXu  
       2018-10-31 11:06:03 +08:00   ❤️ 1
    好歹贴个 top 吧……你这种就相当于去医院拿着心电图问为啥发烧了
    lllllliu
        2
    lllllliu  
       2018-10-31 11:07:38 +08:00   ❤️ 1
    分析分析日志啦,
    工单密码还是要给的。
    find456789
        3
    find456789  
    OP
       2018-10-31 11:11:04 +08:00
    @ZavierXu

    谢谢

    这是现在的 top 图 (目前网站已恢复访问)

    ![avatar]( )
    ZavierXu
        4
    ZavierXu  
       2018-10-31 11:13:29 +08:00   ❤️ 1
    @find456789 现在挺正常的吧……
    find456789
        5
    find456789  
    OP
       2018-10-31 11:14:17 +08:00
    @ZavierXu 是的,现在网站都可以访问,这张 top 图,是现在 正常情况下的截图
    Acirno
        6
    Acirno  
       2018-10-31 11:17:31 +08:00
    redis 炸了?(感觉跟我那小破站 redis 内存占用太高服务挂掉之后负载瞬间爆炸挺像的)
    find456789
        7
    find456789  
    OP
       2018-10-31 11:19:22 +08:00
    @Acirno
    谢谢

    应该不太可能, 因为 redis 我用的很少, 整个系统就 2 个定时任务,也就是只会给 redis 发 2 个任务,redis 我只是作为消息队列, 没有 用别的用途
    yghack
        8
    yghack  
       2018-10-31 11:22:35 +08:00   ❤️ 1
    目前这个情况,必须要看日志,你排查下日志吧。
    find456789
        9
    find456789  
    OP
       2018-10-31 11:28:04 +08:00
    @yghack

    谢谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4389 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 73ms · UTC 10:13 · PVG 18:13 · LAX 03:13 · JFK 06:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.