V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MeteorCat
V2EX  ›  程序员

惨不忍睹,半夜起来(4 点)排查

  •  
  •   MeteorCat · 2019-08-14 04:32:30 +08:00 via Android · 7577 次点击
    这是一个创建于 1934 天前的主题,其中的信息可能已经有所发展或是发生改变。

    睡梦中被电话吵醒,还以为天亮.

    一看手机服务器炸了,要排查代码看看哪里出问题,排查大半天发现代码没问题,百思不得其解;后续发现 curl 的请求全 host 没办法链接,怀疑是不是服务器 dns,一排查麻痹系统内置百度公共 dns 挂了,mmp

    第 1 条附言  ·  2019-08-14 09:56:22 +08:00
    具体这个 dns 服务器“ 180.7676.76 ”是安装时候附带的,基本上很少留意他,早上四点开始出现大范围的请求全挂了还以为是什么回事,排查大半天代码没问题,试着 ping 下请求的域名发现全挂了只有 ip 能请求到才发现问题
    37 条回复    2019-08-15 08:42:49 +08:00
    365hddvd
        1
    365hddvd  
       2019-08-14 04:49:16 +08:00 via iPhone
    心疼老铁(ఠ్ఠ ˓̭ ఠ్ఠ)也是刚刚醒
    chtan
        2
    chtan  
       2019-08-14 04:52:13 +08:00 via iPhone
    签到
    hrong
        3
    hrong  
       2019-08-14 06:53:54 +08:00 via Android
    かわいそう
    nellace
        4
    nellace  
       2019-08-14 07:44:37 +08:00 via iPhone
    心疼老铁
    hawhaw
        5
    hawhaw  
       2019-08-14 07:50:49 +08:00 via Android
    所以,内网服务器用 dns resolver 的高可用非常重要
    zachlhb
        6
    zachlhb  
       2019-08-14 07:54:35 +08:00 via Android
    敢用百度的东西,厉害
    barrelsoil
        7
    barrelsoil  
       2019-08-14 07:55:50 +08:00 via Android
    自建吧
    liuxey
        8
    liuxey  
       2019-08-14 08:02:41 +08:00
    真是糟糕的一天
    robot9
        9
    robot9  
       2019-08-14 08:19:06 +08:00
    前段时间也是半夜被叫起来 码农太悲惨了
    ww2000e
        10
    ww2000e  
       2019-08-14 08:24:13 +08:00
    看样子没运维,没监控
    ebingtel
        11
    ebingtel  
       2019-08-14 08:25:32 +08:00
    @365hddvd 醒了就刷 v2 666
    whywhywhy
        12
    whywhywhy  
       2019-08-14 08:44:12 +08:00
    自从我发现公共 DNS 也能挂之后,就开始至少用 2 家的 DNS 了。原来这些大公司也舍不得做冗余啊
    zjsxwc
        13
    zjsxwc  
       2019-08-14 08:49:06 +08:00
    所以哪家的 dns 最稳推荐?
    defunct9
        14
    defunct9  
       2019-08-14 08:53:45 +08:00
    必须自己做两个 dnsmasq,上游多找几家,就不会挂了。
    wuzhizhan
        15
    wuzhizhan  
       2019-08-14 09:12:55 +08:00
    记得刚毕业工作的时候,一周半夜起来一次
    arrow8899
        16
    arrow8899  
       2019-08-14 09:27:14 +08:00
    自己搭一个 dnsmasq 备用吧
    liuxu
        17
    liuxu  
       2019-08-14 09:41:11 +08:00
    上次我们服务器也炸过,导致 php 无法 curl 请求
    zhjie
        18
    zhjie  
       2019-08-14 09:51:32 +08:00   ❤️ 1
    处理完问题后
    继续睡觉×
    上 v2 发帖√
    ShangAliyun
        19
    ShangAliyun  
       2019-08-14 09:53:47 +08:00
    创建监控啊,阿里云云监控可以免费创建 10 个,域名解析,dns,ping 都创建上,足够了
    MeteorCat
        20
    MeteorCat  
    OP
       2019-08-14 09:57:50 +08:00 via Android
    @ShangAliyun 我没账号呀,我最多都是上去看看 ssh 看下 log 日志
    MeteorCat
        21
    MeteorCat  
    OP
       2019-08-14 09:58:30 +08:00 via Android
    @liuxu 是的,全部第三方请求全炸了,一看是系统带百度 dns 开放 IP 挂了
    loryyang
        22
    loryyang  
       2019-08-14 10:08:30 +08:00
    有段时间,数据链路不稳定,经常半夜一两点被其他团队 call 起来。后来通过老大层面协商搞定了
    leloext
        23
    leloext  
       2019-08-14 10:25:20 +08:00
    上次 114 炸了之后就不敢只用一个上游 dns 了。
    mytsing520
        24
    mytsing520  
       2019-08-14 11:13:26 +08:00
    我 114、阿里、腾讯、Google 都写全的~
    百度不在考虑范围内
    tikazyq
        25
    tikazyq  
       2019-08-14 11:30:43 +08:00
    自己搭建 DNS ?
    oIMOo
        26
    oIMOo  
       2019-08-14 11:31:38 +08:00
    可以设置备用的么?
    一旦首选 DNS 挂掉,自动切换备用的。
    oasislee
        27
    oasislee  
       2019-08-14 11:35:49 +08:00
    半夜解决问题后
    回去睡觉 ×
    发 V2 √
    hiahiahia
    lazyfighter
        28
    lazyfighter  
       2019-08-14 11:47:17 +08:00
    某个地区运营商故障见过吗,哈哈
    HansCathy
        29
    HansCathy  
       2019-08-14 13:54:03 +08:00
    在互联网公司 4 点起来很正常。
    wolflai
        30
    wolflai  
       2019-08-14 15:06:08 +08:00
    唉,互联网公司经常熬夜两三点,非常正常了
    azh7138m
        31
    azh7138m  
       2019-08-14 15:13:07 +08:00
    @lazyfighter 比如上海市政施工导致腾讯游戏挂了吗(
    laozhoubuluo
        32
    laozhoubuluo  
       2019-08-14 15:33:29 +08:00
    半夜四点真的心疼......

    维护个位数物理机建议混配两家以上公共 DNS (配置四五个 DNS 都可以),超出此数目建议自建 DNS 服务。
    vibbow
        33
    vibbow  
       2019-08-14 15:38:12 +08:00
    之前 114 挂过,我就同时用 114 和 1248 了
    lazyfighter
        34
    lazyfighter  
       2019-08-14 17:27:32 +08:00
    @azh7138m 不是 比如上海移动运营商挂了,上海移动用户上不了网,哈哈
    Caballarii
        35
    Caballarii  
       2019-08-14 17:29:57 +08:00
    为啥都想去写前端,就因为不会有人半夜 call 你找麻烦,因为找你也没用 23333
    starsriver
        36
    starsriver  
       2019-08-14 23:09:12 +08:00 via Android
    贵司都不在防火墙或者路由上多填几个 dns?
    ragnaroks
        37
    ragnaroks  
       2019-08-15 08:42:49 +08:00
    没有洁癖,建议使用 1.2.4.8

    我们机房用的机器全是 223.5.5.5(阿里的),莫名其妙的时不时超时(别的地方都能通,就机房 ping 不同这个 DNS),导致经常出现 API 调用失败,最后查了几天才发现 DNS 有问题
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3510 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 10:39 · PVG 18:39 · LAX 02:39 · JFK 05:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.