自从上次搭 Rook Ceph 把 MySQL 扔上去跑的蠢事以来,又遇到一个心塞的问题,让我不得不考虑如何下 Ceph 。
Rook Ceph 在 K8S 上跑了一年,除了性能烂的一。。踏糊涂以外倒没有带来什么可用性上的问题。于是准备将 ZFS 里的所有文件迁移进去 RGW 提供的对象存储里边……从这里开始事情变得离谱,向 RGW 写入的时候一看速度只有 25M/s……底层是单盘可以跑上 200M/s+的 HC530 ,在 Ceph 的 RGW 上只能跑出 25M/s 的速度……
看了一看 Dashboard ,IOPS 打到了 100+,基本也是机械盘的极限……意味着也不是机械盘的问题……
1
zhenjiachen 2023-10-08 10:28:03 +08:00
我之前也是用的 Rook Ceph ,然后有次断电了,结果 pod 就恢复不了了,,然后 Rook Ceph 里面数据也不知道存在哪完全找不回,现在换 nfs 了,只有一个 pod ,非常的轻量,然后还能直接上 nfs 服务器看到那些文件夹。断过一次电也没出过什么问题。
|
2
ExplodingFKL 2023-10-08 10:45:02 +08:00
|
3
zizon 2023-10-08 21:14:44 +08:00
记得 rgw 是个 python 的东西...
换 cephfs/rbd 试试... |
4
aijam 2023-10-09 04:45:46 +08:00
我一度怀疑,rgw 大量损耗在 s3 xml 解析上。要不换 swift API 试试看
|
5
yanest 2023-10-09 07:44:15 +08:00 via Android 1
以前我也觉得 ceph 不错,后来实践了一阵,总结就是,6 个节点( 60 个 osd )以下还是别浪费钱了。
|