V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
joyanhui
V2EX  ›  程序员

有没有镜像两家云的对象储存加缓存,或者自建轻量一点的跨云储存的集群。

  •  
  •   joyanhui · 328 天前 · 1274 次点击
    这是一个创建于 328 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一个写多,读取较少的环境。一分钟新建几万个文件,文件大小 10k 以内。读取相对向较少。

    目前总体不到 20G.

    可以接受短时间( 5 分钟以内)的少许文件丢失。

    目前是用的阿里云 oss 因为写入频率太高,费用比较高。上个月阿里云故障的时候,增加了华为和腾讯的对象储存做备份。也只是定时同步了一下,没有启用。

    自建 minio 感觉有一点太重了,不知道有没有别的轻量的方案。

    或者有没有让两家云储存合并到一起,两边数据基本一致,只要有一个可用就可用的方法。最好还有本地读写缓存。。。

    研究了一下 rclone 的 union ,但是好像 他写就是只往第一个非 ro nc 的后端写,没测试出来第一个后端不可用的时候他是什么逻辑。

    9 条回复    2023-12-10 11:31:04 +08:00
    knives
        1
    knives  
       327 天前
    自建跨云的对象存储,对空间没有太多要求的话,可以试试 https://github.com/deuxfleurs-org/garage

    本地读写缓存就是另外一种东西了。可以试试 https://juicefs.com/zh-cn/
    ljn95869
        2
    ljn95869  
       327 天前 via Android
    我用的又拍云,你可以试试能不能满足你的要求
    joyanhui
        3
    joyanhui  
    OP
       327 天前
    @knives 谢谢,在尝试 garage 和 rclone union

    juicefs 没搞懂,他是数据存储使用另外的 s3 储存,然后提供本地的读写加速对吗?然后再异步同步到其他 s3 里面
    joyanhui
        4
    joyanhui  
    OP
       327 天前
    @ljn95869 和用阿里/华为 没区别吧?不知道 又拍云有什么特殊的特性?
    rekulas
        5
    rekulas  
       327 天前   ❤️ 1
    我觉得可以设置一家相对较稳的作为存储并开 cdn,再找一家备用平台开 cdn 并设置源为第一家并预缓存文件就行了
    就算第一家出问题一般也会 1-3 内恢复,第二家也能用
    joyanhui
        6
    joyanhui  
    OP
       327 天前
    @knives juicefs 把元数据储存到本地的 redis 中,然后在首次读取的时候会从其他的对象储存里面拉取,如果元数据没发生变化,第二次读取就从本机缓存里面拉取。 写入的时候,也是先写到本地,然后再异步到其他对象储存 。 是这个意思吗
    joyanhui
        7
    joyanhui  
    OP
       327 天前 via Android
    @rekulas 文件储存,和 cdn 无关
    knives
        8
    knives  
       326 天前
    @joyanhui 和你理解的基本一致。juicefs 支持本地的读写缓存。本地缓存默认是 100GB 的空间,可以按需调整大小。读缓存默认开启,写缓存要手动开启(默认是同步写)。官方建议仅大量写入小文件时开启写缓存,具体原理看官方文档。

    另外,如果挂载的盘没有共享使用的需求,可以使用本地的元数据引擎来简化架构,如 sqlite3 。

    还有,garage 的基本原理是多区域副本镜像。rclone union 是多云空间合并使用,与 garage 不在一个路子上。
    joyanhui
        9
    joyanhui  
    OP
       326 天前
    @knives 非常感谢,我昨天看了 juicefs 的本地缓存部分应该是我想用的。

    rclone union 我不自建的情况下,可以用他的多端写入和 newest 的读取策略,加 vfs 的缓存,配合我手动同步两个 remote 好像也可以实现我想要的。还在测试效果。

    garage 准备今天试试看看
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1393 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 23:47 · PVG 07:47 · LAX 16:47 · JFK 19:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.