ceph 生产环境搭建和配置推荐

[dreamdragon]

ceph 搭建生产环境和配置有什么推荐的吗 1 、是否推荐直接用官方推荐的 cephadm 2 、有没有相关的自动化安装脚本 3 、ceph.conf 是否有相关的最佳实践

[brucewsl]

都敢上生成环境了， 牛逼

[idealhs]

这个类似 minio?

[COW]

1. cephadm 肯定用，2. ansible 自己写脚本，3. 没有，配置项很多，对运维要求挺高。顺便说一下，这玩意对硬盘和网络有挺高要求，装备不行不建议硬上。

[zsj1029]

就用 cephadm 部署很方便，提前下好镜像，容器直接部署
多节点好方便的，很稳定，集群存储
硬盘一定要多
支持各类存储，块，对象，文件

[xcai]

推荐阅读 https://docs.redhat.com/zh-cn/documentation/red_hat_ceph_storage/6 即使不用 redhat 的，也可以用作参考部署和最佳实践

[Judoon]

rook

[oldAndy]

最好是请个 ceph 专家 从基础配置到最后部署一把梭 毕竟部署一套生产环境用的 ceph 硬件成本和运维成本 还是蛮高的

[dreamdragon]

@COW 好的，得整配置高一点的机器

[dreamdragon]

@zsj1029 你们生产环境也是这么整的么，运行后稳定吗

[dreamdragon]

@oldAndy 这个事情基本是一个人负责的，之前招了两个 ceph 开发，都跑路了

[dreamdragon]

@brucewsl 强行上

[zsj1029]

@dreamdragon 是的，我们集群少就几台主机，pve 配这个就行，内网带宽要够，很稳定的，跑了 2 年多了

[hejw19970413]

不会就默认！

[realpg]

如果你对性能要求很高，且是导出块存储使用，不建议没经验的自己搞

之前给人搞生产的 ceph 可行规划，都得收大五位数，实施另计

就单纯的硬件选型匹配需求就得大五位数

[oldAndy]

@dreamdragon 运维也成 会 ceph 的本来就少

[dreamdragon]

@realpg 其实已经招了几个人，成本花出去了，没弄成；招的人水平一般，估计后面还得招个专业运维的人过来

[dreamdragon]

@xcai 好的，感谢

[realpg]

@dreamdragon #16
ceph 这玩意 还是要看你的项目需求
我们这种高性能块存储要求的 因为性能过渣 已经不再搞扩容这个了
之前项目卖了以前，机房的全机房存储的 ceph 就已经不再扩容了

后面也只有性能要求很低的才从 ceph 导出 iscsi

另外这玩意的分层存储也是灾难，好像自己后续版本都干掉了

[Tinet]

硬盘记得用 nvme 或者 ssd ，不然延迟高得很，数据库应用根本用不了

[realpg]

@dreamdragon #16

ceph 只要规划好，性能算好，内网规划好是 10G*2 ，10G*4 ，40G*2 够用，基本上后期没啥可运维的

如果规模巨大，需要养一些换盘工，我们之前的 PB 级机房中心 ceph ，基层就是换盘工，做好控制台和脚本，哪块盘坏了换盘工就点点鼠标然后去换盘

ceph 自身基本你只要不升级他 就能长期稳定运行

ceph 这玩意 规划才是最麻烦的成本最高的，其次是自建管理平台能脚本化解决日常问题

当时我是总工，基本算我就俩人懂 ceph ，换盘工八个人 24 小时倒班，机房 ceph 基本两三年不出问题

[zizon]

cephadm 已经够自动化了吧.
默认参数挺优的.
只是 crushmap 结构要提前想好.

[NevadaLi]

直接上商业 xsky 吧

[dreamdragon]

@realpg 牛的，大佬

[mingtdlb]

@brucewsl 没你想的那么复杂（也没说简单），定期检修+监控，有问题及时处理，没问题。我们用好几年了，还是 12 的，当然不是我搭的😂另外我们的水平应该也只限于简单运维，比如那种双副本，如果坏了三台主机系统，但 osd 都没问题，这种也是重构不起来 ceph 集群。

就用 cephadm ceph-deploy 比较简单，都封装了。我一直想了解手动部署的过程，没搜到，这样可以了解的更深入一下。

ceph.conf 用默认的就行，不建议调整。让我想起了有些人一天天的内核调优，我感觉默认的配置就能满足 90%的需求，不精通 去调整参数，出问题更懵逼。

[mingtdlb]

@mingtdlb 对了，如果有钱，你还是打工仔，还是用商业的吧 xsky 衫岩应该都还不错，做挺久了，有积累。

[GT1]

ceph 软硬件配置合理，一般几年不会出问题，出了问题，一般人也解决不了。

[8675bc86]

ceph 不建议上生产，问题太多。
资源开销大，使用成本高，性能也不行。

[gvdlmjwje]

这万一搭建完了你兜不住咋办。。。要不考虑下 LS 几位说的商业产品

[vopsoft]

https://www.v2ex.com/t/912582 目前看这类存储的就没有太完美的（尤其是自建）

[Akiya]

我建议你直接去买现成的 ceph 存储产品，自己招人整明显成本更高

[carmark]

用 ceph 之前先看看自己的场景，一般 rbd>rgw>fs ，块设备的话问题应该比较小，文件系统风险最大。

同时要考虑好部署服务对象，以及具体要求，如果是小文件很多的场景，那么 fs 压力会非常大，而且经常容易 OOM 。

所以存储不能解决所有场景的问题，最简单的办法就是简化问题，放到垂直领域，用最简单的功能，减少复杂功能的使用。

如果要细节，那就太多了，我也不是专业的，只是刚毕业的时候搞了两年存储。

[yfixx]

ceph 没有一定实力还是不要轻易上生产，普通人玩不转的，前期规划后期维护都是需要有一定经验的人去弄