TB 级小文件备份方案

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 1666 天前的主题，其中的信息可能已经有所发展或是发生改变。

服务器存放了大概 50T 的小文件数据，并且在不断增长中，目前想把这些数据备份到国内网盘上，但好像没有合适的增量备份方案，不知道各位有其他想法吗？

备份

文件

网盘

方案

33 条回复 • 2020-05-06 08:56:03 +08:00

alexkkaa

2020-05-04 18:20:26 +08:00 via Android

国内网盘？ gdrive 他不香吗

daimaosix

2020-05-04 18:23:14 +08:00

@alexkkaa 服务器都在国内，gdrive 用不了啊

superrichman

2020-05-04 18:24:24 +08:00 via iPhone

妈耶 50t 数据，你还是买几块硬盘备份比较靠谱。

alexkkaa

2020-05-04 18:27:56 +08:00 via Android

@daimaosix 可以挂个代理试试

daimaosix

2020-05-04 18:29:19 +08:00

@superrichman emmmm，硬盘要买好几块...而且主要是本地的网络不行，备份太慢了

daimaosix

2020-05-04 18:49:17 +08:00

@alexkkaa 太慢了老哥，50T 真不知道要备份到什么时间了....

renmu

2020-05-04 19:00:02 +08:00 via Android

看看国内哪家对象存储有解决方案，网盘应该是解决不了你的问题了

yuzo555

2020-05-04 19:02:38 +08:00

还是存到对象存储吧。

新文件主动上传（或使用提供的 API 远程抓取）到对象存储，部分服务商（七牛、腾讯）提供镜像存储功能，如果新文件上传后一定会被访问，也可以设置镜像存储来同步新文件。
老文件使用他们提供的迁移工具慢慢迁移咯。

AntonChen

2020-05-04 19:03:39 +08:00 via Android

阿里云 oss 归档存储

aver4vex

2020-05-04 19:08:44 +08:00 via Android

文件加密，名字都改成番号，群发各种 bt 论坛。

GoLand

2020-05-04 20:00:56 +08:00

https://juicefs.com/

jfs 了解一下，比较靠谱。

a719114136

2020-05-04 20:05:04 +08:00 via Android

个人还是公司的，公司的话可以考虑 hdfs 以及其他分布式文件系统。
个人的话还是多买一个硬盘每天定时拷贝吧

Mai1me

2020-05-04 20:21:45 +08:00 via Android

50t 数据用国内网盘备份
应该是家里有矿了。

SingeeKing

2020-05-04 20:29:21 +08:00

国内几乎唯一靠谱的方式是买硬盘做 RAID5 或者 RAID10，要不然就不考虑成本去买阿里腾讯的归档存储

国外的话，短时间 G Suite （自己买，不是白嫖）无限容量足够

daimaosix

2020-05-04 20:43:52 +08:00

@GoLand 没看明白这个是干啥的老哥

daimaosix

2020-05-04 20:45:45 +08:00

@GoLand 共享文件系统，如果存储用的都是第三方云厂商的，怎么看他定价还有一个自己的存储定价，专业版 0.13/GiB/月

efaun

2020-05-04 20:49:30 +08:00

冷备份或者磁带备份成本低又有保障

flynaj

2020-05-04 21:53:32 +08:00 via Android

50t 一套 6t 硬盘就要 10 个。没有哪家的网盘这么大吧

isnullstring

2020-05-04 21:57:07 +08:00

直接买硬盘备份不好么，备份恢复速度又快
价格也比任意云存便宜

huihuilang

2020-05-04 22:23:26 +08:00 via Android

用 115 吧，淘宝 1tb 充值打折才 10 块钱。。。50tb 也就几百块钱的事情。。。另外本地再搞个冷备份吧

hyshuang2006

2020-05-04 22:50:08 +08:00

50T ？信息没给全，怎么提供合适的建议。说不定有前面累积的数据都可以归档。

daimaosix

2020-05-04 23:02:50 +08:00

@flynaj 用 115 可以

@huihuilang 是的，用的 115

zakokun

2020-05-04 23:04:46 +08:00

这种一般都是弄对象存储啊, 方便检索和下载

hst001

2020-05-04 23:30:03 +08:00

直接买硬盘去机房拷贝吧，之后每天定时远程备份

ceyes

2020-05-05 00:56:20 +08:00 via iPhone

aws S3 了解一下？

msg7086

2020-05-05 05:20:30 +08:00 via Android

自己买硬盘本地慢慢下最靠谱了。
放云，你就不怕账号没了文件取不回来？
云当作第二备份倒是可以。第一备份还是放在自己手里好些。

tankren

2020-05-05 08:54:38 +08:00

还不如本地再备份一遍呢

flynaj

2020-05-05 10:05:59 +08:00

@daimaosix #22 115 我看官网 500 块一年有 5T,50T 一年就要 5000.

GoLand

2020-05-05 12:53:43 +08:00

@daimaosix jfs 其实做的事就是让你像访问本地文件系统一样访问 oss，数据还是存在 oss

daimaosix

2020-05-05 14:40:45 +08:00

@flynaj 去淘宝买兑换码，5T 大概 30 块钱左右，永久生效，无上限。

efaun

2020-05-05 21:01:41 +08:00

@GoLand #29 我也看了下这个网站，但是他说的 1T 免费空间没懂，是注册了账号就可以使用他存储 1T 的数据（使用他提供的空间，就是一个免费网盘），还是可以通过他往自己的 oss 存 1T 的数据（使用自己的空间，类似 multcloud ）？

flynaj

2020-05-05 23:16:25 +08:00 via Android

@daimaosix 怎么可能，要真是这样只能说明 115 要跑路了。30 块怎么都不够一年的电费。

wanguorui123

2020-05-06 08:56:03 +08:00 via iPhone

50T 小文件，要传 n 久吧