首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Amazon Web Services

有哪些工具可以比较可靠地把一个本地目录里的所有内容镜像到一个 S3 Bucket?

  •  
  •   Livid · 363 天前 · 3983 次点击
    这是一个创建于 363 天前的主题,其中的信息可能已经有所发展或是发生改变。
    37 回复  |  直到 2018-10-24 09:56:04 +08:00
        1
    sNullp   363 天前
    楼主是要一次性上传还是要支持增量更新?
        2
    isCyan   363 天前 via Android
    minio client
    github.com/minio/mc
    有 mirror 命令,我用起来还可以
        3
    plqws   363 天前
    用 s3 sdk 写个这种功能的同步工具应该不难
        4
    svenFeng   363 天前 via Android
    S3-fuse
        5
    Livid   V2EX Moderator   363 天前
    @sNullp 能够靠谱地一次性传上去就好。
        6
    fireapp   363 天前 via iPhone   ♥ 1
    s3fs,把 s3 bucket 挂载成本地磁盘,然后 mv
        7
    Livid   V2EX Moderator   363 天前
    @fireapp 理论上这样是不是也可以用 rsync 了?
        8
    caizixian   363 天前   ♥ 1
    `aws s3 sync`?
        9
    Xrong   363 天前
    https://aws.amazon.com/cli/ 用官方的 cli 就行了
        10
    mangoDB   363 天前
    官网应该有对应的 s3fs 吧,我猜测的。
        11
    imnpc   363 天前
    @Livid 挂载以后可以 rsync 但是读写次数会很高 以前挂载阿里云的 OSS 一晚上就同步备份网站和数据库就几十万次读写
        12
    fireapp   363 天前 via iPhone   ♥ 1
    @Livid 透明的,跟本地盘一样
        13
    Vieufoux   363 天前
        14
    kslr   363 天前 via Android
    Rclone
        15
    kslr   363 天前 via Android
    我每天都要同步几百 g 的数据
        16
    ayang23   363 天前
        17
    orzjerry   363 天前
    s3fs 可以 mount 到本地当作本地磁盘,rsync 也是可以的但是磁盘性能真的是不好。
        18
    lynnX   363 天前
    GoodSync 一直在用 很方便
        19
    xw   363 天前
    s3cmd
        20
    Les1ie   363 天前   ♥ 1
    让我们猜一猜是不是昨天的 504 让站长意识到了需要异地容灾 :)
        22
    iConnect   363 天前
    比较好奇 v 站怎么一攻击就死的硬硬的,没有一点复活能力(除了等站长起床)
        23
    iConnect   363 天前
        24
    kios   363 天前
    Mountain Duck
        25
    sunnyadamm   363 天前
    @Les1ie 周天 504,不是昨天
        26
    zhaogaz   363 天前
    群晖就有这功能。 我觉得挺好的
        27
    ReVanTis   363 天前
    注意一点,s3 并不是文件系统而是面向对象的存储。
    试图从文件系统直接进行同步可能不能保留所有的文件信息,包括权限、修改日期等。
        28
    likuku   362 天前
    记得 aws 自家的 cli 工具包里就有 rsync 工具可以直接推到 S3
        29
    likuku   362 天前
    #28 找到了:

    "管理对象
    高级别 aws s3 命令还可以方便地管理 Amazon S3 对象。这些对象命令包括 aws s3 cp、aws s3 ls、aws s3 mv、aws s3 rm 和 sync。cp、ls、mv 和 rm 命令的用法与它们在 Unix 中的对应命令相同,使您可以跨本地目录和 Amazon S3 存储桶无缝工作。sync 命令同步一个存储桶与一个目录或两个存储桶中的内容。"

    from:
    通过 AWS Command Line Interface 使用高级别 s3 命令 - AWS Command Line Interface : https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/using-s3-commands.html


    sync — AWS CLI 1.16.39 Command Reference : https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html
        30
    PureWhiteWu   362 天前
    我是用的 cloudmounter,感觉还不错
        31
    pythonee   362 天前
    我也有同样的诉求
        32
    laxenade   362 天前 via Android
    题外话,建议站长顺便把多版本打开(
        33
    kennylam777   362 天前
    rclone +1, 因為有多線程
        34
    phithon   362 天前
    一直用的 https://github.com/s3tools/s3cmd
    直接可以把整个目录传上去
        35
    cxbig   362 天前
    做備份用 aws s3 sync 配合 S3 版本控制就不錯
    再簡單一點用 aws s3 cp --recursive 速度快些
    不適合大批量小文件,效率不高。服務器在 AWS 之外的也會影響傳輸效率
        36
    mattx   362 天前
    @lynnX goodsync 挺贵的。
        37
    lynnX   362 天前
    @mattx #36 嗯,是的!之前有限免弄了一个。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4107 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 27ms · UTC 05:48 · PVG 13:48 · LAX 22:48 · JFK 01:48
    ♥ Do have faith in what you're doing.