V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
realpg
V2EX  ›  程序员

刚才又玩坏了自建的部署系统……V2EX 的猿们说说你们都搞坏过生产环境的啥玩意?

  •  
  •   realpg ·
    realpg · 2015-08-05 19:27:27 +08:00 · 6311 次点击
    这是一个创建于 3186 天前的主题,其中的信息可能已经有所发展或是发生改变。
    然后如果是公司的,被罚了多少?说出来让大家开心开心……

    某楼层的事儿如果你也干过,请果断给个感谢……
    81 条回复    2015-08-11 11:45:10 +08:00
    zhicheng
        1
    zhicheng  
       2015-08-05 19:29:31 +08:00 via Android   ❤️ 1
    曾经的同事SQL更新管理员密码忘记加 where 。
    realpg
        2
    realpg  
    OP
       2015-08-05 19:32:47 +08:00
    我先扔个砖头,各位有玉的赶紧朝我扔过来啊

    sudo rm -rf *
    然后突然发现工作目录不对……
    unique
        3
    unique  
       2015-08-05 19:32:52 +08:00 via Android
    把配置文件删除过
    nieyujiang
        4
    nieyujiang  
       2015-08-05 19:39:21 +08:00
    删除/boot目录下的所有文件😂
    lujiajing1126
        5
    lujiajing1126  
       2015-08-05 19:41:40 +08:00 via Android
    居然还有部署系统
    wbolor
        6
    wbolor  
       2015-08-05 19:44:16 +08:00
    数据库update忘记加where子句。。。。
    yylzcom
        7
    yylzcom  
       2015-08-05 19:45:54 +08:00   ❤️ 1
    在服务器上进行了这么一个操作
    “sudo ifconfig wlan0 up”

    没错,没有其它能登录到服务器的途径了…… 不过幸好是我自己家里的服务器,接上键盘显示器就好了
    realpg
        8
    realpg  
    OP
       2015-08-05 19:50:50 +08:00
    @lujiajing1126
    自己摆弄的服务器太多,自己做的小程序分布在七八十台乱七八糟的服务器上,还有一些收钱的基础运维的LNMP啥的服务器,所以自己搞了一个小的公网上的部署系统,连着版本控制,连着各个机器之间互相备份数据等等
    因为自己做自己用,所以有很多限制不严的地方,自己都知道的坑,结果一不留神忘了……就坑了……
    itommy
        9
    itommy  
       2015-08-05 19:52:05 +08:00   ❤️ 3
    写 sql 语句我必须先加好 limit, 跑了确认了再把 limit 去了
    miaotaizi
        10
    miaotaizi  
       2015-08-05 19:57:29 +08:00
    rm -rf ./
    然后发现自己是在root目录里..........
    lilydjwg
        11
    lilydjwg  
       2015-08-05 19:59:17 +08:00
    @itommy 看这里的 screencast,很棒的方案:在 Vim 里写好 SQL,开事务,最后一句写 ABORT,tmux 右边 pane 里看效果,确认没问题之后再改成 COMMIT。
    lilydjwg
        12
    lilydjwg  
       2015-08-05 20:06:49 +08:00
    @itommy 啊链接忘记了: http://entrproject.org/
    mringg
        13
    mringg  
       2015-08-05 20:08:08 +08:00 via Android
    rm -rf / 这个命令最happy
    typcn
        14
    typcn  
       2015-08-05 20:09:44 +08:00   ❤️ 1
    一个小站,VPS硬盘满了,看了看 mysql 日志占了很多空间,就 rm -rf mysql-bin * 注意空格。。。
    chromie
        15
    chromie  
       2015-08-05 20:11:23 +08:00
    十年前 托管服务器在电信机房,装防火墙忘了开3389端口
    idamien
        16
    idamien  
       2015-08-05 20:21:17 +08:00
    国家航天级别项目,以上情况均未发生过
    des
        17
    des  
       2015-08-05 20:37:18 +08:00 via Android
    chmod 777 /home -R
    itommy
        18
    itommy  
       2015-08-05 22:10:05 +08:00
    @lilydjwg :thumbsup: 谢 lily 酱

    @idamien 必须不能发生啊
    realpg
        19
    realpg  
    OP
       2015-08-05 22:17:45 +08:00
    刚修好部署系统……回来回复

    @chromie 远程系统装防火墙,尤其是windows系统预料中大坑。不过windows其实不用一般防火墙最好,系统的TCP/IP筛选以及应用程序套框就足够了……win7以及对应的server版以后的windows防火墙也可用

    @typcn 你这个当前目录显然是MySQL binlog 目录 当前目录的*影响不大吧


    @mringg 这个真没玩过

    @yylzcom 没领会这个为啥会断网

    @idamien 好高大上,你们招人么,要不要总会搞坏各种系统的……为你们增添点乐趣
    typcn
        20
    typcn  
       2015-08-05 22:18:14 +08:00
    @realpg 然而。。。binlog 和数据在一个文件夹。。
    ren2881971
        21
    ren2881971  
       2015-08-05 22:19:53 +08:00
    shutdown oracle
    结果卡在那里 4个小时不动。。 被运维的喷 不敢吱声。
    从那以后 不该我碰的 绝对不碰。。
    yylzcom
        22
    yylzcom  
       2015-08-05 22:50:40 +08:00
    @realpg 只有一个网卡,我SSH上去的把网卡禁用了,自然就断网了
    不好理解的话可以考虑在自己VPS上试试,不过估计要把wlan0改成eth0 (反正一般都有console可以应急)
    realpg
        23
    realpg  
    OP
       2015-08-05 22:53:15 +08:00
    @yylzcom
    你确定你这是禁用网卡的命令?我学历低你别骗我……
    scys
        24
    scys  
       2015-08-05 22:59:58 +08:00   ❤️ 1
    负责核心机房的时候,做错路由,直接让3万人无法上网超过10分钟
    yylzcom
        25
    yylzcom  
       2015-08-05 23:02:35 +08:00
    @realpg 应该是down, 打成up了
    GeekTest
        26
    GeekTest  
       2015-08-05 23:03:30 +08:00 via Android
    @scys 23333333你算算要赔偿多少钱😂😂😂
    imyip
        27
    imyip  
       2015-08-05 23:06:14 +08:00 via Android
    数据库update忘记加where 然后找了半天 甚至认为服务器是不是坏了
    rming
        28
    rming  
       2015-08-05 23:12:49 +08:00
    @ren2881971 重启redis 差不多的效果……
    rming
        29
    rming  
       2015-08-05 23:13:42 +08:00
    @imyip 一定记得加 limit = =、
    scys
        30
    scys  
       2015-08-05 23:23:17 +08:00
    @GeekTest 其实就零星一点投诉。。。。真心是零星一点点
    zonghua
        31
    zonghua  
       2015-08-05 23:24:27 +08:00
    安装了未完工,完全是八阿哥的系统给别人用。
    ren2881971
        32
    ren2881971  
       2015-08-05 23:41:23 +08:00
    @rming 在之前我经常 重启oracle~ 之后我再也不敢碰了 有心理阴影了。。
    hippoboy
        33
    hippoboy  
       2015-08-06 00:14:53 +08:00 via Android
    清空过一张很大的表,刚入行用navicat的时候,经理没生气,只是说了句,这个习惯不好。很感谢,从此清表必须备份。
    orvice
        34
    orvice  
       2015-08-06 00:17:42 +08:00
    chmod -R 755 /
    flowfire
        35
    flowfire  
       2015-08-06 01:11:41 +08:00
    @mringg
    这个貌似基本上都会有确认的
    @orvice
    。。。
    chmod -R 777 / 才爽~
    xiqingongzi
        36
    xiqingongzi  
       2015-08-06 03:29:03 +08:00 via Android
    公司做云存储。我删了大概30W的数据。。。然后就没然后了。
    realpg
        37
    realpg  
    OP
       2015-08-06 07:53:54 +08:00
    @xiqingongzi
    哈哈哈
    来来来,各位用云的看看为啥数据会丢……
    kn007
        38
    kn007  
       2015-08-06 08:01:20 +08:00
    @realpg 经历过、、
    moe3000
        39
    moe3000  
       2015-08-06 08:52:17 +08:00
    一个500M+的日志,直接vim了
    mactaew
        40
    mactaew  
       2015-08-06 08:53:22 +08:00 via iPhone
    @mringg 这只能半爽不爽~加上sudo就真爽了~
    ltye
        41
    ltye  
       2015-08-06 08:54:15 +08:00
    chomd 777 -R /
    这是一个及其悲伤的故事…
    pheyer
        42
    pheyer  
       2015-08-06 09:07:24 +08:00
    我转下微博就行了:
    @左耳朵耗子: 那时见过在BEA做Tuxedo同学给我展示了他们一个20000行的switch-case的代码,真是叹为观止。//@isfcsf:1500行,这是黑函数作者吧 //@左耳朵耗子:好吧,之前有个C文件某函数有1500多行,里面有个从头到尾的for循环,我没注意到,我在其中加了一个for循环,结果重用了循环变量i。还跑通了所有的测试
    @左耳朵耗子: 来来来,大家都来说说自己犯过最SB的错误吧。我先说一个我的,那年写Unix Shell脚本,本想删除一些临时的子目录,如:rm -rf ${mydir}/ ,结果呢,我没检查${mydir}这个变量是否为空,于是呢,在某种情况下,这变量真的为空了,于是,我成了团队的千古罪人。
    8月5日 21:21 来自 微博 weibo.com
    xiaole
        43
    xiaole  
       2015-08-06 09:13:02 +08:00 via iPhone   ❤️ 1
    没有光大证券的出来说说吗?
    Theo14
        44
    Theo14  
       2015-08-06 09:49:14 +08:00
    说到部署系统,可以试试rundeck
    cnhongwei
        45
    cnhongwei  
       2015-08-06 09:49:37 +08:00
    写自动部署脚本的时候,写错了一个参数,部署的时候在生产环境中跑了一次testcase,将数据库初始化成测试数据了。
    c742435
        46
    c742435  
       2015-08-06 09:51:54 +08:00
    在jenkins下执行了rm -fr ~
    不过部署系统是我搞的 几个小时后就复原了
    townboy
        47
    townboy  
       2015-08-06 10:11:01 +08:00
    sql delete 忘记加where子句
    young
        48
    young  
       2015-08-06 10:13:14 +08:00
    kxxoling
        49
    kxxoling  
       2015-08-06 10:57:04 +08:00
    @young 损失惨重啊!
    z5n0w
        50
    z5n0w  
       2015-08-06 10:58:44 +08:00
    rm -r /media/c
    等我反应过来<Ctrl> + C 的时候
    然后我的Windows 剩下一半了
    wupher
        51
    wupher  
       2015-08-06 11:01:44 +08:00
    @xiaole 我也想起了光大那个悲剧程序员……

    当年有天晚上三点,和同事傻傻rm -rf weblogic下的某个应用部署……两个人当时都困迷糊了。这下全省运营商的客服系统都不能上故障单…… 删除之后立刻清醒了。还好之前10:00点钟的时候留了个tar包备份。
    ist
        52
    ist  
       2015-08-06 11:05:43 +08:00
    在公司测试环境连接数据库超时了,结果导致正式环境网站挂了,完全不知道是什么鬼……
    jianghu52
        53
    jianghu52  
       2015-08-06 11:42:48 +08:00
    我chmod —R 777了公司的一个重要的文件夹。结果还没等我写入,就被另外一个孙子给del掉了。为了回复原始数据,我跟那孙子两个先干了一仗,然后两人开始找办法回复。最后回复的结果是,只恢复了文件名。。。。
    netdot
        54
    netdot  
       2015-08-06 11:59:03 +08:00
    修改群集的IP。
    NetCobra
        55
    NetCobra  
       2015-08-06 15:50:05 +08:00   ❤️ 1
    听到的事故:把一根网线两头都插到了交换机上,然后一上午公司几百人无法联网……
    wbsdty331
        56
    wbsdty331  
       2015-08-06 16:29:00 +08:00
    @NetCobra 现在路由器都没这种情况了吧,都能检测到环路的
    wraith4
        57
    wraith4  
       2015-08-06 16:37:21 +08:00
    rm -rf domain
    删除过生产线的weblogic的域和正在运行的应用,还好有备份。
    mlhorizon
        58
    mlhorizon  
       2015-08-06 16:49:41 +08:00
    当然刚入行,远程配置系统防火墙,把所有ip的远程访问都墙了......
    Obelly
        59
    Obelly  
       2015-08-06 17:03:44 +08:00
    算不上搞坏。
    曾经将某车间的横河控制系统弄出告警而已,值班人员尿都吓出来了。。。
    30吨氰化物车间。。。。。。
    li1215101
        60
    li1215101  
       2015-08-06 17:19:29 +08:00
    一个新来的在web上测试推送系统,结果没有加别名就发送出去了,全部iOS用户都收到一条莫名其妙的推送。。。。
    Flygoat
        61
    Flygoat  
       2015-08-06 19:52:49 +08:00
    。。。自己的project,在无人机上,清log的脚本里写的
    rm -rf / usr/local/xxxxx/xxx/log/fdr
    (那个空格你懂的)那本来是每小时执行一次的corn。。。正在欣慰的飞的时候忽然Boom。。。
    然后拖着因为舵机断电释放的气囊用备用遥控器一路飞回来,人快崩溃了。
    herozzm
        62
    herozzm  
       2015-08-06 22:07:10 +08:00
    放了100+网站的服务器,然后在www目录(下面放了100+网站) rm -rf *,10秒钟后醒悟过来了,赶紧ctrl+c
    herozzm
        63
    herozzm  
       2015-08-06 22:07:22 +08:00
    从此对rm有阴影
    samael
        64
    samael  
       2015-08-06 22:39:00 +08:00
    @young 硅谷第二季 , 干得漂亮
    test0x01
        65
    test0x01  
       2015-08-07 00:42:49 +08:00 via Android
    从未搞挂,那也是绝对不允许的,也没那么容易。如果真搞挂一个,那就死定了。
    realpg
        66
    realpg  
    OP
       2015-08-07 08:52:11 +08:00
    @test0x01

    不一定非得是公司的东西。
    你就没有点啥自己的东西没那么高级的安全系统和规程拦着的?
    感觉每个码农都有点自己的小东西的
    publicID001
        67
    publicID001  
       2015-08-07 09:50:01 +08:00
    @xiqingongzi 这不算什么
    Yaren
        68
    Yaren  
       2015-08-07 12:32:51 +08:00
    @young 哈哈,硅谷里的二货投资人。
    realpg
        69
    realpg  
    OP
       2015-08-07 12:37:37 +08:00
    @publicID001 请给云计算一些宽容么……
    go4fun
        70
    go4fun  
       2015-08-07 13:04:38 +08:00 via iPhone
    直接系统库挂了,大多数程序启动不了。我是ceo,所以没人开除我,但我开除了两个背黑锅的。哈哈,后面这句开玩笑了。最后只好镜像恢复。
    vicvinc
        71
    vicvinc  
       2015-08-07 15:58:26 +08:00
    svn 没有update直接commit了,然后覆盖了。。
    realpg
        72
    realpg  
    OP
       2015-08-07 16:01:54 +08:00
    @vicvinc
    这个会提示的吧 the file is up to date
    我基本不用svn客户端本身,一直用的ECLIPSE里面的SVN,基本都会提示up to date

    不过svn直接update to revision 随便输个旧版本号就回去了怕啥……
    vicvinc
        73
    vicvinc  
       2015-08-07 16:12:18 +08:00
    @realpg 用的是win客户端,这个倒不是怕回滚,只是当时的项目负责人提东西快,我们提的慢,然后当时整一个操作系统,每次svn提的东西都要集成进去拿去测试的,然后那次就把项目负责人的东西没集进去- -
    solar
        74
    solar  
       2015-08-07 17:21:17 +08:00 via iPhone
    @vicvinc git 就不会这样
    iLtc
        75
    iLtc  
       2015-08-07 19:49:44 +08:00
    今天中午一不小心在自己的用户目录下执行了 rm -rf ./

    于是索性把整个用户目录能删的全部删掉,然后从 Time Machine 恢复了一些重要文件

    现在电脑磁盘空出来100+G
    wawehi
        76
    wawehi  
       2015-08-07 20:35:47 +08:00
    做游戏的,曾经误操作把所有玩家的金币清0了,停机24小时才恢复。。。当时每天收入是10万左右
    ddou
        77
    ddou  
       2015-08-07 21:27:03 +08:00
    本来想在测试环境数据库上修改下数据,不想SSH tunnel连着生产环境数据库,修改了所有生产环境数据。 还好只是修改,操作也是可逆的。默默地在所有人发现之前又改了回去。
    ychongsaytc
        78
    ychongsaytc  
       2015-08-08 00:29:56 +08:00
    alias cd="rm -rf"
    hack520
        79
    hack520  
       2015-08-08 09:17:41 +08:00   ❤️ 1
    rm -f /* 然後索性把服務器扔掉重新買了個。
    realpg
        80
    realpg  
    OP
       2015-08-09 15:13:22 +08:00
    @hack520 这是真土豪……删了点文件就重买硬件。

    @ychongsaytc 你这是蓄意破坏吧……

    @vicvinc 封装集成觉得还是要确认版本号的,甚至要出一个分支,哪怕不用后续维护……

    @wawehi 老板怎么说的?罚款了么
    wawehi
        81
    wawehi  
       2015-08-11 11:45:10 +08:00
    @realpg 没罚钱,只是说了下次注意。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3181 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 14:50 · PVG 22:50 · LAX 07:50 · JFK 10:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.