首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

惨不忍睹,半夜起来(4 点)排查

  •  
  •   MeteorCat · 7 天前 via Android · 5704 次点击

    睡梦中被电话吵醒,还以为天亮.

    一看手机服务器炸了,要排查代码看看哪里出问题,排查大半天发现代码没问题,百思不得其解;后续发现 curl 的请求全 host 没办法链接,怀疑是不是服务器 dns,一排查麻痹系统内置百度公共 dns 挂了,mmp

    第 1 条附言  ·  7 天前
    具体这个 dns 服务器“ 180.7676.76 ”是安装时候附带的,基本上很少留意他,早上四点开始出现大范围的请求全挂了还以为是什么回事,排查大半天代码没问题,试着 ping 下请求的域名发现全挂了只有 ip 能请求到才发现问题
    37 回复  |  直到 2019-08-15 08:42:49 +08:00
        1
    365hddvd   7 天前 via iPhone
    心疼老铁(ఠ్ఠ ˓̭ ఠ్ఠ)也是刚刚醒
        2
    chtan   7 天前 via iPhone
    签到
        3
    hrong   7 天前 via Android
    かわいそう
        4
    nellace   7 天前 via iPhone
    心疼老铁
        5
    hawhaw   7 天前 via Android
    所以,内网服务器用 dns resolver 的高可用非常重要
        6
    zachlhb   7 天前 via Android
    敢用百度的东西,厉害
        7
    barrelsoil   7 天前 via Android
    自建吧
        8
    liuxey   7 天前
    真是糟糕的一天
        9
    robot9   7 天前
    前段时间也是半夜被叫起来 码农太悲惨了
        10
    ww2000e   7 天前
    看样子没运维,没监控
        11
    ebingtel   7 天前
    @365hddvd 醒了就刷 v2 666
        12
    whywhywhy   7 天前
    自从我发现公共 DNS 也能挂之后,就开始至少用 2 家的 DNS 了。原来这些大公司也舍不得做冗余啊
        13
    zjsxwc   7 天前
    所以哪家的 dns 最稳推荐?
        14
    defunct9   7 天前
    必须自己做两个 dnsmasq,上游多找几家,就不会挂了。
        15
    wuzhizhan   7 天前
    记得刚毕业工作的时候,一周半夜起来一次
        16
    arrow8899   7 天前
    自己搭一个 dnsmasq 备用吧
        17
    liuxu   7 天前
    上次我们服务器也炸过,导致 php 无法 curl 请求
        18
    zhjie   7 天前   ♥ 1
    处理完问题后
    继续睡觉×
    上 v2 发帖√
        19
    ShangAliyun   7 天前
    创建监控啊,阿里云云监控可以免费创建 10 个,域名解析,dns,ping 都创建上,足够了
        20
    MeteorCat   7 天前 via Android
    @ShangAliyun 我没账号呀,我最多都是上去看看 ssh 看下 log 日志
        21
    MeteorCat   7 天前 via Android
    @liuxu 是的,全部第三方请求全炸了,一看是系统带百度 dns 开放 IP 挂了
        22
    loryyang   7 天前
    有段时间,数据链路不稳定,经常半夜一两点被其他团队 call 起来。后来通过老大层面协商搞定了
        23
    leloext   7 天前
    上次 114 炸了之后就不敢只用一个上游 dns 了。
        24
    mytsing520   7 天前
    我 114、阿里、腾讯、Google 都写全的~
    百度不在考虑范围内
        25
    tikazyq   7 天前
    自己搭建 DNS ?
        26
    oIMOo   7 天前
    可以设置备用的么?
    一旦首选 DNS 挂掉,自动切换备用的。
        27
    oasislee   7 天前
    半夜解决问题后
    回去睡觉 ×
    发 V2 √
    hiahiahia
        28
    lazyfighter   7 天前
    某个地区运营商故障见过吗,哈哈
        29
    HansCathy   6 天前
    在互联网公司 4 点起来很正常。
        30
    wolflai   6 天前
    唉,互联网公司经常熬夜两三点,非常正常了
        31
    azh7138m   6 天前
    @lazyfighter 比如上海市政施工导致腾讯游戏挂了吗(
        32
    laozhoubuluo   6 天前
    半夜四点真的心疼......

    维护个位数物理机建议混配两家以上公共 DNS (配置四五个 DNS 都可以),超出此数目建议自建 DNS 服务。
        33
    vibbow   6 天前
    之前 114 挂过,我就同时用 114 和 1248 了
        34
    lazyfighter   6 天前
    @azh7138m 不是 比如上海移动运营商挂了,上海移动用户上不了网,哈哈
        35
    Caballarii   6 天前
    为啥都想去写前端,就因为不会有人半夜 call 你找麻烦,因为找你也没用 23333
        36
    starsriver   6 天前 via Android
    贵司都不在防火墙或者路由上多填几个 dns?
        37
    ragnaroks   6 天前
    没有洁癖,建议使用 1.2.4.8

    我们机房用的机器全是 223.5.5.5(阿里的),莫名其妙的时不时超时(别的地方都能通,就机房 ping 不同这个 DNS),导致经常出现 API 调用失败,最后查了几天才发现 DNS 有问题
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3277 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 23ms · UTC 04:40 · PVG 12:40 · LAX 21:40 · JFK 00:40
    ♥ Do have faith in what you're doing.