星期五的时候我挨个巡检还没有任何问题,星期一早上一来上去一看几个服务器就全中招了
涉及到好几个项目,连备份服务器都挂了。不过幸好都是自用库可以重新安装手动录入数据,昨天晚上已经恢复一半了。
查了一下,是从新来的那个运维机器做主机跳转过来的,他说他星期五下班的时候他机器上就有莫名其妙的文件他没理。
话说到这我作为这块专管运维其实也是很无奈的。来到这个公司接手这些项目开始我就发现服务器一直是有病毒的,我试图查杀重装部署过,最后发现竟然开发和产品发过来的包里就有病毒,,后续几次部署都是一样,搞完一堆病毒,反映过,没出事没人理。
后期新增服务器,半个月以后发现那个机房的服务器平凡死机重启,开始我还以为是电源(直流高压机房)不兼容,结果上服务器发现无数个连接试图对外访问,一查发现服务器送来公司安装系统的时候就中毒了,反映过,没人理。
该死的项目还都是非常古老的 WINDOWS 软件。。。架构也动不了。。
啊。。。心好累啊。。。。。。
1
CallMeReznov OP |
2
ivesun 2019-02-19 13:03:06 +08:00 via Android
生化危机
|
3
vB4h3r2AS7wOYkY0 2019-02-19 13:03:21 +08:00 via Android
@CallMeReznov 新浪微博 直接贴链接。主题里可使用 markdown 任意链接
|
4
xomix 2019-02-19 13:47:59 +08:00
建议上虚拟化,或者就开几个外网监听口不开访问口,然后让这些东西在系统的内存里换了的等待响应吧。
|
5
CallMeReznov OP @xomix #4 公司的产品发布过来从来不带文档,带文档没有端口相关,我得一个一个自己查。
|
6
helionzzz 2019-02-19 13:51:50 +08:00 1
开发和产品发过来的包里就有病毒 这是个什么操作? 你们公司操作系统集体带毒?。。
|
7
FrankFang128 2019-02-19 13:52:17 +08:00
终于有理由重写了
|
8
NetworkManager 2019-02-19 13:54:01 +08:00
真惨阿 老哥 把机器能用的文件存一下全格了吧 以后加审核
|
9
CallMeReznov OP @helionzzz #6 公司流程是开发把软件压缩打包发给产品测试然后再给我,中间是没有任何二进制文件的版本管理,比如建个 SVN 什么的管理一下,我也提过,没人理。
公司的产品和测试几乎都是外行人在做,比如之前发给了我 2 台测试机器让我装在内网,我刚装上就发现机器里有蠕虫病毒,通知了那边不以为然。 主要还是工作态度和本身专业性问题,都是很简单的问题。没人愿意改编 |
10
CallMeReznov OP @NetworkManager #8 没有任何能用的东西了,全部被锁,我已经恢复了 2 台,格式化了全盘并重写了引导区了。
|
11
yingfengi 2019-02-19 13:59:37 +08:00 via Android
这都出事了还是没人理???
|
12
harryert 2019-02-19 14:03:07 +08:00 3
你仔细查查可能就会发现病毒才是真正的程序,其他的都是添头。。。。:doge:
|
13
CallMeReznov OP @yingfengi #11 这次打电话给总部领导
换来的也就一句话:以后他们在发来有病毒的你要拒收 |
14
xomix 2019-02-19 14:12:18 +08:00
@CallMeReznov 直接全部端口关闭等他们上报啊,我当年就是老大给的这个策略,你可以问问老大能不能这样做,一般都是一个通知发出去,抽几天时间你去把全部的服务器备份下来,然后就等老大一个消息你把没上报的全部关闭等他们找你你拿老大和通知给他们看让他们上报,如果这里产生工作量你也好跟老大说。
|
15
CallMeReznov OP @xomix #14 说的非常有道理,但现实是另外一回事
|
16
xomix 2019-02-19 14:17:30 +08:00
@CallMeReznov 这就需要你跟老大沟通了,去老大的办公室跟老大沟通,讲清楚现在的机房状况和如果有丢失会造成的损失,老大如果觉得不管就这样,那你考虑去留就行了,没啥说的,要是老大找你要方案你就给他我这套方案。
|
17
ThirdFlame 2019-02-19 14:18:43 +08:00
先关闭 445 端口再说啊
|
18
ScotGu 2019-02-19 14:54:34 +08:00
|
19
jadec0der 2019-02-19 14:55:54 +08:00
厉…厉害了
|
20
lionseun 2019-02-19 15:45:29 +08:00
看着,好刺激
|
21
ily433664 2019-02-19 16:21:27 +08:00
这也太惨了 8
|
22
lasuar 2019-02-19 16:25:31 +08:00
恢复不了,这个锅谁背,/狗头
|
23
yerick 2019-02-19 16:26:43 +08:00
赶紧采购杀毒软件吧,买不了吃亏,买不了上当,只要 998
|
24
Wicked 2019-02-19 16:37:56 +08:00 via iPhone
辞职吧…
|
25
xkl 2019-02-19 17:13:17 +08:00
公司当时也是被病毒入侵了外网端口全开。 然后那个人还在上面留了一个勒索软件。要求勒索比特币。QAQ
|
27
freedomshi 2019-02-19 19:25:03 +08:00
不错!!!
|
28
EscYezi 2019-02-19 21:41:29 +08:00 via iPhone
火绒企业版了解一下
|
29
Windelight 2019-02-19 23:45:14 +08:00 via Android
如果是应急使用,那么你的机器 /内网服务器先装上火绒 /360 等国产还算良心还能拦截勒索病毒的软件,腾讯就算了
|
30
CallMeReznov OP @EscYezi #28
@Windelight #29 装的是火融,但这个病毒是从 3389 端口进来的,应该是那个新来的机器上的 RDP 密码缓存,我进去看的时候每个被感染的机器上都会映射他那台机器上的一个共享文件夹,桌面上会有一个文件夹里面存着可以结束掉杀软的相关程序之类的。 |
31
CallMeReznov OP 每台机器上的安全其实是做过的因为本身有很多机器来的时候带的就有病毒我特意每台机器装了火融,但 3389 端口我没改也没屏蔽,密码是强密码,可没想到作为管理人员自己的机器却成为感染源。。
|
32
nfroot 2019-02-20 09:19:38 +08:00
1.当发现开发包有病毒时,拒绝部署,坚持要部署先通过书面方式上报
2.程序与数据分离,简而言之,数据库服务器是数据库服务器,文件服务器是文件服务器,服务端程序单独服务器 3.备份系统与生产环境不能一致,啥意思?备份你用群晖就好了,不会一死全部死。离线备份有没有做? 4.开发包有病毒就不能手工杀么,除非部署后的 exe 捆绑死的,无法拆开。 5.网络环境是不是都是傻瓜设备,有没有 VLAN 隔离。 6.病毒通过 3389 感染服务器的可能性极小。 7.服务器不够(数量),虚拟化来凑,稳定靠谱,维护方便。 6......不想写了。 预防事故有很多方式,请问你做到了几条?“作为这块专管运维”你做了哪些防范,通过主题来看,真的看不出。出了事情你会发现,平时做的真的太不够了!但是非要到这个时候才补救么。 |
33
nfroot 2019-02-20 09:24:56 +08:00
8.每个服务器是不是有打补丁。。。。
“专管运维”是啥我不太懂,但是事情会发展成这样,绝非偶然,你的运维方案本身就存在很大的问题和漏洞。 只有做足了这些,才能尽可能杜绝事故的产生。当你在发帖郁闷的时候,我看到的是你工作的不足,而不是别人工作的不足。 |
34
CallMeReznov OP @nfroot #32
1. 我曾经拒绝部署过,直接向领导反映过,但是没有回应,这边又急着上所以只能硬着头皮装。 2.事实上最早开发和产品发来的数据库版本甚至都是 SQL2000 的,公司自己开发的业务组件存在不足都是我自己用空余时间补充的,在我之前公司没有运维这块只有云计算部门但是不负责这类业务,数据库是单独的,也是用的 ESXI ( ESXI 也是我个人独立装的)。 3.备份环境是我找了一台服务器单独做的,当然也是 WINDOWS,也是做了相关安全设置的. 4.是 EXE,主要还有一部分集成项目,都是外面公司的产品,历史可能追踪到 98 年代,我昨天从新部署的时候先开的火融那个服务器竟然没起来。做了白名单后启动也不正常。问了最熟悉这块的人也是“不知道” 5.网络架构存在特殊性,是基于电信 VPN 线路的大二层我接受就是如此,因为涉及到整体产品架构我曾经反映过这个问题并没有回应,申请过网闸与防火墙也没回应,现在感染的只是本地机房的一部分,其他在其他网段的业务并没受到干扰。 6.我上服务器看过,文件名全被加密成 rooster4444,是 Globelmposter3.0 的变种相关的信息可以上网查证 7.至于虚拟化的问题,我这样跟你说吧我这我这业务全是强运算性质的,硬件服务器本身就 CPU 就跑 100%了,我已经尽可能的把不耗费资源的东西集中在虚拟化里了。 8.安装的是 2008R2,虚拟化镜像都是我亲自用 DISM 打包过集成过补丁的,并且之前的 SMB 补丁我全部打过 说实话,公司有点坑,很多工作不是我一个人做的。也不方便细说,就说一些不那么敏感的 我接受的时候所有服务器没有任何安全措施,甚至有些服务器上装的还是 WIN7,他们没有“服务器系统”的概念,防火墙默认全部关闭,没有任何杀毒软件,服务器上在部署的时候为了方便安装了各种软件,破解软件。我接受 |
35
CallMeReznov OP 我接受之后全部把系统更新一遍,把并没有自动化的业务实现了半自动化,因为业务十分不稳定 10 分钟崩溃一次,我想办法实现了自动化监控报警并重启。
另外硬件服务器的部署也是我一个人,我现在手头上硬件服务器大约 130 台,部署到电信的服务器的时候公司全是空开接头,公司也不愿意提供 PDU,支架等一系列东西,全是我手工剪线一台一台电源接的空开开关( 220V 直流) 后期涉及到外面施工单位的对接,公司没有相关的前端,我个人利用空余时间写了个监控给前端施工队用( python ) 其实我一个人因为我现在引入了自动化没有什么活的,平常登录登录服务器巡查一下,上上业务 查查 ZABBIX 一直挺好。 |
36
rocbomb 2019-02-20 10:38:21 +08:00
我们公司最近也中了
某个家伙中了, 然后把所有的内网共享文件夹 有写权限的都,文件全给加密了 |
37
nfroot 2019-02-20 11:07:17 +08:00
@CallMeReznov 其他的视情况处理,备份这一块一定要做够啊,要不然备份设备也完了真的全完了,恢复都无从谈起。备份设备一定不能和被备份的服务器系统一样(防的就是出现同样漏洞,被蠕虫一波全带走了),最好是用群晖这种专门备份的,再定时做离线备份。。。网络也要限制只能服务器访问备份设备。。。真的,数据这一块是最最最最最最关键的,一完全完了。。你这还好,还能找他们自用电脑恢复,要是大家一来上班然后全部马上被感染病毒,恢复都没得恢复了,这不就彻底完了么。。。绝对是你们的责任跑不掉的,怎么样都跑不掉的。
反正我是这样想的,所有数据都存服务器上,一定要想尽办法保证数据不丢,也只有集中管理的方式是最好维护最好备份的了。。。数据一定一定一定不能全部出问题啊。。。 |
38
CallMeReznov OP @nfroot #37 这点的确是没有想到连备份服务器一起一波带走
所以 我现在备份就是换的 centos 然后开的 FTP 每天定时打包上传到备份目录( SQL ) 二进制文件的话是使用 winscp 同步到 cetnos 的同样的目录 |
39
Windelight 2019-02-20 15:39:46 +08:00 via Android
@CallMeReznov 3389 和局域网共享不一样,Windows 的局域网共享或者 RDP Redirect 就算传过来了病毒,exe 也要有个启动方式,除非全硬盘全都设成了共享。所以联系您先装一个 360 安全卫士加杀毒,开启卫士全部功能,杀毒开红伞和 bit,我觉得您已经十分尽力了。
建议是用 VMware Workstation 之类的软件从 0 开始搞一整套打完补丁的系统,并且不要加入你们公司文件,然后做好再加上 360..........然后可以的话用 Linux 发行版系统存储一些代码、备份,备份也要 2 份以上,隔绝其它业务,因为硬件换了可以换,电脑中病毒可以重装,数据完蛋了就真完蛋了 |
40
leonardleonard 2019-02-20 15:58:29 +08:00
安全这个事情就是不出事不关心。该花的钱和精力不能省
|