这是一个创建于 927 天前的主题，其中的信息可能已经有所发展或是发生改变。
国内的 Devops 云平台动辄封号，删库，屏蔽，国内云平台 devops 已死！自建 Devops 平台才靠谱。这里采用开源项目建立一个完善的 Devops 系统，基本运行良好！
个人 devops 实践系统。整套系统可以完全内网实现，不用申请域名、ssl 证书，完全自己管理 dns ，自签名证书。
配合 Consul 可以实现自动负载均衡
大家有什么更好的项目推荐没？
 |
1
bloodkey OP  3
尽量不使用 java 项目，不是 java 项目不好，而是同样的功能，java 项目是其它语言的至少 10 倍 cpu ，内存消耗，启动速度还贼慢
整套系统基本打通了项目开发所有过程 |
 |
2
singerll 2022-05-12 16:05:21 +08:00
你怕不是对 devops 有什么误解，两个服务器监控都没有，你这些功能根本不是企业关心的，况且这个玩意根本就不是几个人能够完成的产品。
至于你说的“国内的 Devops 云平台动辄封号，删库，屏蔽，国内云平台 devops 已死！”，先不说你说的对不对，你对私有云肯定是有误解的。。。 |
 |
3
duzhor 2022-05-12 16:15:11 +08:00
esearch ？ openstack ？多大的公司啊要给 devops 上这些？
|
|
4
bloodkey OP @singerll 整个系统普通 nas,32G 内存，跑起来完全没问题
多节点监控，备份，负载平衡加服务器扩展，容易得很。ELK 集群对于小系统完全事多余的，portainer 就够用了 少于 200 节点 k8s 也是多余的 |
|
5
bloodkey OP 单台 nas, 32G 内存，上面 docker 跑起来完全没问题，nas 如果是 4 核，2Ghz 以上，支持 500 人同时开发应该没问题
|
|
8
bloodkey OP 是已经实现的系统
|
|
9
bloodkey OP 不光是 devops,共跑了约 80 个 docker ，经过多次优化，平时负载低于 10.
还是在运行 emby 的情况下，emby 可是很耗资源的 |
 |
10
IvanLi127 2022-05-12 16:35:40 +08:00
不错欸
|
|
11
bloodkey OP 搞云平台的看到我实现的系统是不是很瑟瑟发抖？
可以说少于 1000 人的企业，使用这个基本就够用了 云平台把数据交给别人，赌别人的道德不会私自偷拿你的数据？真是想多了。 某垄断社交平台内部有专门的团队分析客户的数据，看有什么有价值的没有，是很多年前就爆出来的消息 |
 |
13
xiaotianhu 2022-05-12 16:49:07 +08:00 3
做生意： 管他什么平台什么流程，先上线看看用户反馈再说，搞量搞内容第一位
做技术：管他什么用户什么业务，先把运维搞完美 |
 |
15
Alliot 2022-05-12 16:57:59 +08:00
@xiaotianhu 真相了 2333 感觉技术人都很容易陷入这样一个误区。
|
|
16
bloodkey OP |
 |
17
scyuns 2022-05-12 17:08:05 +08:00
还有没有更轻量级的
|
 |
18
hb0730 2022-05-12 17:09:08 +08:00
我现在用的 gitea+drone 还 OK
|
|
19
bloodkey OP @scyuns 用 gitea+drone ，zentao 想用就用，资源占用极低，个人使用 8G 内存的 nas 跑起来完全够用
|
|
20
bloodkey OP gitlab 要跑起来至少要 8G 内存，jenkins 也是内存 cpu 占用大户。大于 16G 内存时考虑上这个
32G 内存，图片中介绍的可以都跑起来！ 是不是非常节省内存，也省钱 O(∩_∩)O |
 |
21
myu7815 2022-05-12 17:23:40 +08:00
免费的 gitlab 无法使用 es 高级搜索吧
|
 |
22
Judoon 2022-05-12 17:24:52 +08:00
别的不问了，就问问能支撑多大业务量吧
|
 |
23
huai 2022-05-12 17:27:55 +08:00
腾讯的蓝鲸呢？
|
|
25
bloodkey OP @Judoon 看你的 cpu 和内存大小，看 gitlab 官方文档介绍，至少 2 核 8G 。4 核 8G 可以支撑 8000 用户
gitlab 还支持建立多节点集群，就是说你服务器够多，搭建个类似 github 都行 |
 |
27
defunct9 2022-05-12 17:39:30 +08:00 1
代码管理那一陀，可以用 onedev 代替
|
|
29
defunct9 2022-05-12 17:44:53 +08:00
域名那一块，可以把 coredns 拿出来用
|
|
31
bloodkey OP @Judoon 私人 nas ，只满足个人使用。还有全套视频，图书，音乐管理系统，多少人使用没有测试，cpu 和内存剩余范围支撑个几百号人同时使用 gitlab 应该没问题的
|
|
32
Judoon 2022-05-12 17:52:37 +08:00
@bloodkey 你的 nas 什么配置，既然没有测试。那压测一下，按你说的，几百个人同时使用。其他场景先不算，只考虑 10 个 gitlab-runner 同时运行，应该顶得住吧，2 个 golang ，2 个 java ，2 个 python ，2 个 node ，2 个其他，编译打包打镜像推送。
你压测试试，看看数据，让大家信服 |
|
33
defunct9 2022-05-12 17:53:38 +08:00
@bloodkey 那么，你也会同意 coredns 替代 dnsmasq 的用法。虽然，dnsmasq 确实是个大杀器。
|
|
34
defunct9 2022-05-12 17:57:03 +08:00
最后，cmdb 用了很多，ralph 、netbox 、蓝鲸、open-cmdb ，没一个好用的，谁还有更好的推荐么？要机柜图，要网络拓扑图，要知道机器信息，要知道交换机端口配置，还要知道硬盘什么时候更换过。
|
|
35
bloodkey OP cpu j4125 4 核 14nm 2.00 GHz ~2.70 GHz
SSD sata 接口的 读写 500MB/S 32G DDR4. 2x16G 双通道 @Judoon 个人开了 2 个 gitlab-runner ，个人 nas 是娱乐开发双重定位的，搞啥压力测试，再多用户用技术手段限制性能消耗，排队来支持更多用户才是王道。花费更多金钱去满足极少数情况的高压力是钱多的没处花 |
|
37
bloodkey OP @defunct9 用 dnscrypt 和 dnsmasq 的原因是满足 DOH 防污染，dns 去广告，和域名管理
coredns 可以实现这三个要求么？ |
|
38
bloodkey OP 自建 CA 是自己用脚本写的 CA 管理系统，IP ，泛域名，多域名签名一个证书搞定！
|
 |
39
wolfmei 2022-05-12 22:28:06 +08:00
我医院系统完全用不了这套东西
|
 |
41
root01 2022-05-13 09:54:12 +08:00
谢谢楼主的博客提供的学习教程
|
 |
42
lialzm 2022-05-13 10:55:48 +08:00
|
 |
43
WIN2333 2022-05-13 11:07:06 +08:00
你对 java 也不是也有什么误解，口说无凭，拿证据出来
|
|
45
WIN2333 2022-05-13 11:19:54 +08:00
@bloodkey 那是 jira 的问题不是 Java 的问题，另外，大部分企业选择的都是 jira ，而不是 zentao 哈
|
 |
47
struggle001 2022-05-13 11:24:57 +08:00
管理 18 个机柜 OpenStack 集群的运维飘过。。。3 个柜子以内 pve 挺香的，后端用 ceph
不过你想做什么东西，我没看懂。。 还有这个东西太大了，如果公司业务需要支撑，还好，否则就算开发好了 也没人用啊 |
|
48
struggle001 2022-05-13 11:30:40 +08:00
文中的好多东西都在用 只有 nextcloud 是给公司内部提供的云盘平台。gitlab 也在用。。elk 也在用，zabbix ，cacti ，cobbler 等等。我都是野路子。。。面向业务做开发部署。好多东西都是靠脚本完成。。服务器虽然很多，但是也没用 ansible 这些东西。麻烦。
|
|
49
struggle001 2022-05-13 11:35:41 +08:00
@defunct9
netbox 这个可以尝试当 cmdb 用，不过还是要考个人梳理层级关系。 至于网络监控靠 Prometheus 和 grafana 好像也还行。不过 cacti 也要当个备份。。拓扑这东西真的没发现更好的软件。。 cacti 气象图有点弱了 |
|
50
bloodkey OP @struggle001 目标是单节点，最低成本，实现一个开源可用的 devops
什么 k8s ceph 中小企业完全不需要 |
|
51
struggle001 2022-05-13 11:37:29 +08:00
@defunct9 没看清你写 netbox 了，这个梳理清楚还挺好用的，不过前期规划好挺重要的。
我们的资产管理 加上百台网络设备和端口管理 ip 管理 都在用这个。 |
|
52
struggle001 2022-05-13 11:39:19 +08:00
@bloodkey 挺好的，期待你的作品。其实我们现在系统也挺多的，东一个 西一个 没统一的入口挺恶心的。现在唯一可以搞的是有统一的 passport 或者 oss 。。
|
|
53
bloodkey OP |
|
54
struggle001 2022-05-13 12:35:29 +08:00
@bloodkey 东西太多了，适合的才是最好的。
这套平台是不是模块化的，可以自己选择模块，松耦合。如果是，那就更好了。 |
|
55
struggle001 2022-05-13 12:36:32 +08:00
@bloodkey nginx 没考虑高可用吧。。哈哈
|
|
56
bloodkey OP @struggle001 本身都是 docker 运行，可以根据需要用到那个就启动运行那个 docker
nginx 高可用，考虑用 dns 多线路负载均衡，dnsmasq 还没研究出来怎么配置多线路负载均衡与掉线自动切换 |
|
57
defunct9 2022-05-13 15:40:27 +08:00
@struggle001 cacti 已死，画个聚合图要死人了。换 librenms 吧。
|
 |
59
zhaohua 2022-05-13 16:02:22 +08:00 1
我司现在大约 15 人左右的研发团队,说说我的经验,一开始也想着自建一些基础设施, 当然没 op 这么大规划,只想把基础监控告警做起来, 折腾了半年 elk, grafana ,prometheus , k8s.
后来发现相比云服务,成本高不说(别说一台 32G nas ALO 不敢,再者除了硬件,人员也要开工资),受限于性能体验还差, 除了 gitlab+drone 其他能上云的都上云了, 沟通和组织架构用企业微信,项目管理用 tapd 文档用语雀, 监控日志告警用阿里云,负载均衡云 slb. 消息队列用 ons. 感觉非常满意. 自建 devops 小厂就别考虑, 老老实实上云吧,搭一套容易,维护起来就要命了. |
|
60
zhaohua 2022-05-13 16:04:36 +08:00
你要是运维能说服老板折腾,那这套对个人生涯是极好的.要是技术负责人就算了,别给自己挖坑.
|
 |
61
dreamusername 2022-05-13 16:06:54 +08:00
Gitlab+Lark+Zadig 就足够了
|
 |
62
betainCao 2022-05-13 17:47:07 +08:00
公司里的 devops 一般是从 0->1 的过程，你这套创业公司用不起，从 0->1 需要什么拿什么，而不是上来就是你这一套。
|
|
64
bloodkey OP @betainCao 把数据交给别人就是找死
最近不是某 ceo 在微博质问为啥某社交通信公司员工查看他们私密文件？留下访问记录？ 动动手指就删光你所有文件，你能怎么着？ 注册账号时就同意了别人不用负任何责任，闲死得不够快？ 公有云解决不了信任问题，私有云才是未来！ 再说，这套系统这么简单，而且都是可以需要那个就安装运行那个，怎么到你这里就得上全套？ |
|
65
bloodkey OP 使用 X 里云，然后发现数据被窃取，人家利用你的数据造一个一模一样的项目，并取代你，这种新闻可以去搜一下，一搜一大把
|
|
66
bloodkey OP 真实例子，某 ip 数据库服务，使用 x 里云，然后被克隆
维权不成，没有任何说法 |
|
67
bloodkey OP @zhaohua 个人认为刚好相反，如果公司的产品没啥技术含量，上云没有关系
如果数据，代码是核心资产与竞争力，上云就是找死！ 而且，自己控制数据，对有利于研发，运维的，不可替代性更高。都上云，才是更容易被替代 |
|
68
bloodkey OP 在数据安全，企业生死存亡面前，成本什么的都是浮云，成本再高有被克隆，被复制死亡成本高么？
再说，这套系统也是从少到多，从小到大，慢慢优化，扩展的，硬件成本也是随着需求变化而变化的，随着业务扩展而增加成本，一开始单节点单服务器就可以满足要求了，后面业务增加慢慢扩展为集群，k8s 等 |
 |
69
qfdk 2022-05-13 20:34:49 +08:00 via iPhone
呃 看了半天才明白想表达什么 . 简单来说就是你被某些平台封号了 然后自己摘了些开源工具搭了一个差不多可以自用的. 动手能力 OK
|
|
70
struggle001 2022-05-13 23:14:40 +08:00
@defunct9 我们混着用
|
 |
71
yyttrr 2022-05-14 09:36:52 +08:00
感觉部署那里缺了一层，不是简单的一个镜像就能带过的，例如 k8s 里面一个服务的 env 、hpa 、资源限制这些都是部署的一部分，需要有个类似 helm chat 的东西管理。还有一个镜像可能会部署到多种环境，例如常驻势实例在 k8s 上，临时扩容的扔到云厂商的函数计算里面
|
 |
73
kongkx 2022-05-14 12:10:55 +08:00 via iPhone
现在个人运维都搞这么复杂了吗？
|
|
74
bloodkey OP @yyttrr docker 参数中可以限制 cpu 内存，可以 portainer 配合 git 管理并部署 docker compose
k8s 太耗资源了，至少 5 个节点才能把 k8s 完整跑起来，每个节点光 k8s 不包括其它实例，就至少需要 8G 内存 |
 |
75
wuxqing 2022-05-14 16:43:11 +08:00
@betainCao 我们小团队原先也是用某家云的，1 年成本 20 多万，还经常负载高了把 ECS 卡死，只能重启，重启一下有时候要 10 多分钟，运维成本也是同样存在的。后来直接搞了几台服务器托管，快 2 年了，稳得很，每年还能节省将近 20 万成本。
|
|
76
yyttrr 2022-05-14 19:21:45 +08:00
@bloodkey 我这里最小的一个集群也有 20 个 32 核 128G 的虚拟机了，k8s 解绑了容器和机器，比 docker 方便太多太多了
|
 |
77
evilStart 2022-05-14 19:22:58 +08:00 via Android
你这套理论上可以公司用，但你怎么说服老板自己搭呢？
|
|
78
bloodkey OP @yyttrr 我跑的是最省钱方案，单节点低功耗 nas 服务器，当然没法和专业的服务器相比了，小于 200 节点的，还是直接 docker 省钱。k8s 的方便是消耗 cpu 和内存为前提的
|
|
80
bloodkey OP @wuxqing 一个自建 devops 省钱的真实例子，和云厂商鼓吹的上云省钱刚好相反
自建需要各个公司养更多开发和运维，对所有开发和运维人员都有利。上云，只对云厂商有利。 鼓吹上云省钱，方便的，可以说不是无知就是利益相关方了 |
 |
82
jack778 2022-05-22 11:24:55 +08:00
创业公司要的是最低的成本来实现业务,至于上云或者自建,都是无所谓的,时间成本才是他们最关心的.试问有几家公司能做出被 bat 觊觎的产品呢?
|
 |
84
winson030 329 天前
学习了！搭建实验环境或者 home server 还是很不错的！不过去到生产环境能用 managed services 就用 managed services ，机器的存储、网络、硬件出问题的时候比维护服务要折腾。
|
Select Language