首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MeteorCat
V2EX  ›  程序员

惨不忍睹,半夜起来(4 点)排查

  •  
  •   MeteorCat · 164 天前 via Android · 6153 次点击
    这是一个创建于 164 天前的主题,其中的信息可能已经有所发展或是发生改变。

    睡梦中被电话吵醒,还以为天亮.

    一看手机服务器炸了,要排查代码看看哪里出问题,排查大半天发现代码没问题,百思不得其解;后续发现 curl 的请求全 host 没办法链接,怀疑是不是服务器 dns,一排查麻痹系统内置百度公共 dns 挂了,mmp

    第 1 条附言  ·  164 天前
    具体这个 dns 服务器“ 180.7676.76 ”是安装时候附带的,基本上很少留意他,早上四点开始出现大范围的请求全挂了还以为是什么回事,排查大半天代码没问题,试着 ping 下请求的域名发现全挂了只有 ip 能请求到才发现问题
    37 回复  |  直到 2019-08-15 08:42:49 +08:00
    365hddvd
        1
    365hddvd   164 天前 via iPhone
    心疼老铁(ఠ్ఠ ˓̭ ఠ్ఠ)也是刚刚醒
    chtan
        2
    chtan   164 天前 via iPhone
    签到
    hrong
        3
    hrong   164 天前 via Android
    かわいそう
    nellace
        4
    nellace   164 天前 via iPhone
    心疼老铁
    hawhaw
        5
    hawhaw   164 天前 via Android
    所以,内网服务器用 dns resolver 的高可用非常重要
    zachlhb
        6
    zachlhb   164 天前 via Android
    敢用百度的东西,厉害
    barrelsoil
        7
    barrelsoil   164 天前 via Android
    自建吧
    liuxey
        8
    liuxey   164 天前
    真是糟糕的一天
    robot9
        9
    robot9   164 天前
    前段时间也是半夜被叫起来 码农太悲惨了
    ww2000e
        10
    ww2000e   164 天前
    看样子没运维,没监控
    ebingtel
        11
    ebingtel   164 天前
    @365hddvd 醒了就刷 v2 666
    whywhywhy
        12
    whywhywhy   164 天前
    自从我发现公共 DNS 也能挂之后,就开始至少用 2 家的 DNS 了。原来这些大公司也舍不得做冗余啊
    zjsxwc
        13
    zjsxwc   164 天前
    所以哪家的 dns 最稳推荐?
    defunct9
        14
    defunct9   164 天前
    必须自己做两个 dnsmasq,上游多找几家,就不会挂了。
    wuzhizhan
        15
    wuzhizhan   164 天前
    记得刚毕业工作的时候,一周半夜起来一次
    arrow8899
        16
    arrow8899   164 天前
    自己搭一个 dnsmasq 备用吧
    liuxu
        17
    liuxu   164 天前
    上次我们服务器也炸过,导致 php 无法 curl 请求
    zhjie
        18
    zhjie   164 天前   ♥ 1
    处理完问题后
    继续睡觉×
    上 v2 发帖√
    ShangAliyun
        19
    ShangAliyun   164 天前
    创建监控啊,阿里云云监控可以免费创建 10 个,域名解析,dns,ping 都创建上,足够了
    MeteorCat
        20
    MeteorCat   164 天前 via Android
    @ShangAliyun 我没账号呀,我最多都是上去看看 ssh 看下 log 日志
    MeteorCat
        21
    MeteorCat   164 天前 via Android
    @liuxu 是的,全部第三方请求全炸了,一看是系统带百度 dns 开放 IP 挂了
    loryyang
        22
    loryyang   164 天前
    有段时间,数据链路不稳定,经常半夜一两点被其他团队 call 起来。后来通过老大层面协商搞定了
    leloext
        23
    leloext   164 天前
    上次 114 炸了之后就不敢只用一个上游 dns 了。
    mytsing520
        24
    mytsing520   164 天前
    我 114、阿里、腾讯、Google 都写全的~
    百度不在考虑范围内
    tikazyq
        25
    tikazyq   164 天前
    自己搭建 DNS ?
    oIMOo
        26
    oIMOo   164 天前
    可以设置备用的么?
    一旦首选 DNS 挂掉,自动切换备用的。
    oasislee
        27
    oasislee   164 天前
    半夜解决问题后
    回去睡觉 ×
    发 V2 √
    hiahiahia
    lazyfighter
        28
    lazyfighter   164 天前
    某个地区运营商故障见过吗,哈哈
    HansCathy
        29
    HansCathy   164 天前
    在互联网公司 4 点起来很正常。
    wolflai
        30
    wolflai   164 天前
    唉,互联网公司经常熬夜两三点,非常正常了
    azh7138m
        31
    azh7138m   164 天前
    @lazyfighter 比如上海市政施工导致腾讯游戏挂了吗(
    laozhoubuluo
        32
    laozhoubuluo   164 天前
    半夜四点真的心疼......

    维护个位数物理机建议混配两家以上公共 DNS (配置四五个 DNS 都可以),超出此数目建议自建 DNS 服务。
    vibbow
        33
    vibbow   164 天前
    之前 114 挂过,我就同时用 114 和 1248 了
    lazyfighter
        34
    lazyfighter   164 天前
    @azh7138m 不是 比如上海移动运营商挂了,上海移动用户上不了网,哈哈
    Caballarii
        35
    Caballarii   164 天前
    为啥都想去写前端,就因为不会有人半夜 call 你找麻烦,因为找你也没用 23333
    starsriver
        36
    starsriver   164 天前 via Android
    贵司都不在防火墙或者路由上多填几个 dns?
    ragnaroks
        37
    ragnaroks   163 天前
    没有洁癖,建议使用 1.2.4.8

    我们机房用的机器全是 223.5.5.5(阿里的),莫名其妙的时不时超时(别的地方都能通,就机房 ping 不同这个 DNS),导致经常出现 API 调用失败,最后查了几天才发现 DNS 有问题
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1341 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 95ms · UTC 16:50 · PVG 00:50 · LAX 08:50 · JFK 11:50
    ♥ Do have faith in what you're doing.