2023.03.29 凌晨 2 点左右腾讯云控制台全挂~

[daimaosix]

CVM COS CDN 等产品全部加载不出来了，在线客服也挂了....相关接口返 500 错误，页面基本提示的都是类似的：服务器暂时未响应，请刷新页面并重试。若无法解决，请联系智能客服或提交工单...............洗洗睡吧

[josepkm]

是的，接口全挂了，LB 也出现问题

[josepkm]

而且腾讯云微信扫码登录也挂了，狗屎一样的两步验证，别人家都能用谷歌验证器，就他加只能微信。

[daimaosix]

@josepkm 哈哈哈哈，这次影响感觉挺大的，接口全 GG 了，服务器赶紧看了一下，好像没事

[lovexiaofan12312]

微信现在都延迟巨高，朋友圈都还刷不出，图片都加载很慢

[daimaosix]

@lovexiaofan12312 企业邮箱 QQ 邮箱也是，延迟巨高

[daimaosix]

咋感觉是动了大动脉了哈哈

[LeslieLeung]

正好在调试 Serverless ，一直提示没有权限。今晚又有多少人得彻夜不眠。

[daimaosix]

@LeslieLeung 睡觉吧宝，都这么晚了

[CMLab]

现在是否已经正常了？

[daimaosix]

@CMLab 不行，接口还是 500 Error

[josepkm]

@daimaosix 是的，服务器没事，LB 出问题。两步认证，微信不能扫码，最后折腾一圈才登录，上去发现啥也刷不出来

[CMLab]

@daimaosix 腾讯云服务正常吗

[sdra1984]

也算见证历史了

[lxiian]

微信也炸了，我想登录微信小程序管理后台，扫码提示错误，微信也一直转圈，提示正在接收。。我以为就我出问题了呢。公众平台也有问题，感觉整个腾讯产品都出问题了

[lxiian]

qq 也炸了，头像都没了

[jwwang]

QQ 邮箱炸了："检测到异常的调用行为，访问禁止"

[rimworld]

我看腾讯公众号发的微信上新，他们是不是选择今晚做了什么比较大的升级。恶意猜测一下，裁员，把干实事的人裁的太多了。

[Chenhupo]

QQ PC 端也无法登录了。
提示当前网络不稳定，登录失败。

[Routeros]

微信炸了,语音聊天发不出去,收不到.

[Routeros]

@jwwang 是的,邮箱也挂了.

[hyshuang2006]

你猜？对滴，临时工干的好事。

[worldquant]

外包狗背锅呗

[Nnq]

距离某🍑☁️上次的高可用问题也没多少天 企鹅☁️还好么？ 海外某京架构师猛推的 GCP AWS 转企鹅☁️还好么？

[ETiV]

@josepkm
> 狗屎一样的两步验证，别人家都能用谷歌验证器

（的确狗屎，狗日的腾讯）
分享个小技巧：绑定 2FA 第一步，浏览器地址栏里加 lang=English ，可以避免绑定微信

具体参数可能记得不是很精确，你再搜一搜

[securityCoding]

控制台 redis 列表刷不出来

[kkocdko]

QQ 登录信息出现错乱，电脑明明没在线，提示在线（看了信息是自己的设备

[zephyr1]

怪不得我挂的 cos 上传直接给我注销登录了，闻所未闻

[kuxiaobai]

🙈🙈昨晚这是咋的了之前是百度云加速挂了后面是腾讯🙈

[vocaloidmiku0999]

这下捅娄子了

[boatrain1111]

肯定又是赔偿优惠券

[qbmiller]

mac 微信登录第二个， 提示您已退出登录微信
就是登不上去

[xiqishow]

微信小程序 we 统计 核心数据一直显示 0

[Les1ie]

歪楼：大家是晚上 2 点多是还没睡觉还是 on-call 叫起来修 bug 的？

[723X]

今年疼逊事故有点多啊

[ufo5260987423]

@lovexiaofan12312 #4 我还以为是我的问题(手机不行)，没想到是微信的问题笑

[photon006]

@Les1ie 凌晨 3 、5 点不睡觉起来修系统，顺便发帖吐嘈，多半是 on-call ，苦逼的打工人。

[amon]

凌晨 2 点，可能是重启服务了 /doge

[xuxinglin8888]

小而美的登录验证就很恶心，我现在另外注册了两个号，旧手机登录一个，并且添加账号添加另一个，主号要验证时就用这两个小号来

[FcukYouTony]

咋个没听说啊, 感觉事情不大?

[vipdog73]

又是腾讯云 哈哈

[iMusic]

听朋友说广州一机房全宕机了，好像是机房温度过高

[AngryPanda]

不是一次两次了

[lovexiaofan12312]

@ufo5260987423 我当时还以为是 dns 炸了，换了多个 dns 结果一样，然后 ping 了下微信域名有丢包延迟不稳定

[solider245]

@rimworld 腾讯就没有干活的人，基本上全都是做协调的。就我和腾讯的几次对接来看，腾讯这样下去非常危险，基本等于无基层

[leehon]

腾讯有多少自建机房，就不能全套自己整一个

[markgor]

您好，由于机房配套设施故障，广州五区部分云产品（ CLB 、Redis 、WAF 、TKE 、控制台等）出现服务异常现象，经工程师紧急修复，目前故障已恢复，非常抱歉对您的业务造成的影响。若您有任何问题，请随时联系我们处理。

[SiYuetian]

@markgor 云服务没有容灾吗，或者冗余服务

[markgor]

@SiYuetian
大多数都不支持跨可用区容灾吧，一个可用区所有设备挂了基本就挂了，除非客户自己有做跨可用区容灾。
我也是昨天看到公告，现在准备改数据库为跨区容灾....
对我而言昨天的故障就是个警惕..

[markgor]

全是泪，我们现在所有业务服务都是用腾讯云，之前几次的大故障都完美避开没影响到。
反正每次看到腾讯云故障心中都一颤。
这次具体原因不清楚，但网上的说法好像是机房空调设备坏了导致设备温度过高然后齐刷刷的 GG 了。
上次好像也是这样。
真搞不懂基础设备就不能弄个监控后增加冗余吗...
ups 和空调这些基建设备按我理解应该都是支持上报状态和冗余配置才对的啊，更别说路由交换等的核心设备了。

[daimaosix]

@markgor 数据库跨区容灾用不了数据库代理的说

[markgor]

@daimaosix 请问意思是就算数据库设置为主从跨区域的话，其中一个区域出问题也会导致服务中断不可用吗？

[daimaosix]

@markgor 不是，数据库代理只是一个功能，用于自动读写分离，负载均衡等，如果用不到这个功能可以多可用区部署。

[markgor]

@daimaosix 明白，谢谢。
我看了下我们没开读写分离，但程序上只有统计类的会写死从库查询，估计真有什么发生只有这一部分受到牵连