有哪些工具可以比较可靠地把一个本地目录里的所有内容镜像到一个 S3 Bucket？

[sNullp]

楼主是要一次性上传还是要支持增量更新？

[isCyan]

minio client
github.com/minio/mc
有 mirror 命令，我用起来还可以

[plqws]

用 s3 sdk 写个这种功能的同步工具应该不难

[Em5O7B1JGfjQnBry]

S3-fuse

[Livid]

@sNullp 能够靠谱地一次性传上去就好。

[fireapp]

s3fs，把 s3 bucket 挂载成本地磁盘，然后 mv

[Livid]

@fireapp 理论上这样是不是也可以用 rsync 了？

[caizixian]

`aws s3 sync`?

[Xrong]

https://aws.amazon.com/cli/ 用官方的 cli 就行了

[mangoDB]

官网应该有对应的 s3fs 吧，我猜测的。

[imnpc]

@Livid 挂载以后可以 rsync 但是读写次数会很高 以前挂载阿里云的 OSS 一晚上就同步备份网站和数据库就几十万次读写

[fireapp]

@Livid 透明的，跟本地盘一样

[Vieufoux]

用 aws s3 cp 命令
https://docs.aws.amazon.com/cli/latest/reference/s3/

[kslr]

Rclone

[kslr]

我每天都要同步几百 g 的数据

[ayang23]

https://rclone.org/

[orzjerry]

s3fs 可以 mount 到本地当作本地磁盘，rsync 也是可以的但是磁盘性能真的是不好。

[lynnX]

GoodSync 一直在用 很方便

[xw]

s3cmd

[Les1ie]

让我们猜一猜是不是昨天的 504 让站长意识到了需要异地容灾 :)

[iConnect]

比较好奇 v 站怎么一攻击就死的硬硬的，没有一点复活能力（除了等站长起床）

[iConnect]

@Les1ie

[devtk]

Mountain Duck

[sunnyadamm]

@Les1ie 周天 504，不是昨天

[zhaogaz]

群晖就有这功能。 我觉得挺好的

[ReVanTis]

注意一点，s3 并不是文件系统而是面向对象的存储。
试图从文件系统直接进行同步可能不能保留所有的文件信息，包括权限、修改日期等。

[likuku]

记得 aws 自家的 cli 工具包里就有 rsync 工具可以直接推到 S3

[likuku]

#28 找到了：

"管理对象
高级别 aws s3 命令还可以方便地管理 Amazon S3 对象。这些对象命令包括 aws s3 cp、aws s3 ls、aws s3 mv、aws s3 rm 和 sync。cp、ls、mv 和 rm 命令的用法与它们在 Unix 中的对应命令相同，使您可以跨本地目录和 Amazon S3 存储桶无缝工作。sync 命令同步一个存储桶与一个目录或两个存储桶中的内容。"

from:
通过 AWS Command Line Interface 使用高级别 s3 命令 - AWS Command Line Interface : https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/using-s3-commands.html


sync — AWS CLI 1.16.39 Command Reference : https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

[PureWhiteWu]

我是用的 cloudmounter，感觉还不错

[pythonee]

我也有同样的诉求

[laxenade]

题外话，建议站长顺便把多版本打开(

[kennylam777]

rclone +1, 因為有多線程

[phithon]

一直用的 https://github.com/s3tools/s3cmd
直接可以把整个目录传上去

[cxbig]

做備份用 aws s3 sync 配合 S3 版本控制就不錯
再簡單一點用 aws s3 cp --recursive 速度快些
不適合大批量小文件，效率不高。服務器在 AWS 之外的也會影響傳輸效率

[mattx]

@lynnX goodsync 挺贵的。

[lynnX]

@mattx #36 嗯，是的！之前有限免弄了一个。