V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ccde8259
V2EX  ›  NAS

上了 Ceph 以后才意识到有些东西不是一个人能够搞定的

  •  
  •   ccde8259 · 202 天前 · 2349 次点击
    这是一个创建于 202 天前的主题,其中的信息可能已经有所发展或是发生改变。

    自从上次搭 Rook Ceph 把 MySQL 扔上去跑的蠢事以来,又遇到一个心塞的问题,让我不得不考虑如何下 Ceph 。
    Rook Ceph 在 K8S 上跑了一年,除了性能烂的一。。踏糊涂以外倒没有带来什么可用性上的问题。于是准备将 ZFS 里的所有文件迁移进去 RGW 提供的对象存储里边……从这里开始事情变得离谱,向 RGW 写入的时候一看速度只有 25M/s……底层是单盘可以跑上 200M/s+的 HC530 ,在 Ceph 的 RGW 上只能跑出 25M/s 的速度……
    看了一看 Dashboard ,IOPS 打到了 100+,基本也是机械盘的极限……意味着也不是机械盘的问题……

    5 条回复    2023-10-09 07:44:15 +08:00
    zhenjiachen
        1
    zhenjiachen  
       202 天前
    我之前也是用的 Rook Ceph ,然后有次断电了,结果 pod 就恢复不了了,,然后 Rook Ceph 里面数据也不知道存在哪完全找不回,现在换 nfs 了,只有一个 pod ,非常的轻量,然后还能直接上 nfs 服务器看到那些文件夹。断过一次电也没出过什么问题。
    ExplodingFKL
        2
    ExplodingFKL  
       202 天前


    ceph 是同步写入 ... 如果是多副本的话就更慢了
    zizon
        3
    zizon  
       202 天前
    记得 rgw 是个 python 的东西...
    换 cephfs/rbd 试试...
    aijam
        4
    aijam  
       202 天前
    我一度怀疑,rgw 大量损耗在 s3 xml 解析上。要不换 swift API 试试看
    yanest
        5
    yanest  
       201 天前 via Android   ❤️ 1
    以前我也觉得 ceph 不错,后来实践了一阵,总结就是,6 个节点( 60 个 osd )以下还是别浪费钱了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1205 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 23:37 · PVG 07:37 · LAX 16:37 · JFK 19:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.