寻求一个高速低成本的公有云下云数据迁移方案

[wangyzj]

寻求一个高速低成本的公有云下云数据迁移方案

最好是各位彦祖实操过的，有数据支撑

主要关注迁移速度和所需时间

数据量为 10TB 级别，均为文件存储

我简单咨询过云厂商，貌似不能拿硬盘去直接插入

不知道各位彦祖有没有实操经验

万分感谢

程序可以改，数据变化还是比较大的

停机迁移时间最好不超过 24 小时

[fredcc]

AWS 有 snowball 服务，国内公有云的话，只要出流量费，速度不是问题。10T 按流量计费也才 8000 元

[qiuyoo]

在同一个云服务商，买一个主机(带宽固定，不需要额外费用的)，正常情况同一个云主机商访问自家云存储，费用很低。然后代理慢慢下载，不行就多买几台。

[dode]

可以采购云服务商的裸金属服务器，备份硬盘拿出来吗

[juzisang]

OSS 打包上传下载恢复。

[esee]

你前提都没指定，很难跟你说具体方案，比如程序能不能改动，文件是否存在经常变动还是只读的情况。

[wangyzj]

@esee #5 程序可以改，数据变化还是比较大的

[realpg]

空手套 100K 级别迁移方案

[esee]

@wangyzj 你都可以停机了，还 24 小时那么长，那还有啥纠结的呀，就付个流量费，直接导出就完事了呀，10T 数据量真不大。但是如果你都是小文件文件数量多，那可能时间长一些，考虑一下文件数量，千兆带宽跑满，几个小时就导完了

[cust2008]

@wangyzj 搞个同一家云公司的低成本的云服务器然后迁移 或者按需付费的 迁移 可以吧

[catsnl]

标贴看成高速公路传输，我还以为是卡车运硬盘

[crackidz]

假如你需要传输 20 个小时，你算一下带宽需求不就好了...

反正是停机嘛

[wangyzj]

@realpg #7 😎😜

[wangyzj]

@esee #8 小文件是比较多，这不寻思尽量花小钱办大事么
如果没啥畊好办法只能买线

[wangyzj]

@cust2008 #9 可我是要下云

[hongfs]

@wangyzj #14 OSS 10TB 套餐包，也就四千多。

[dann73580]

10t 不多啊，为啥不能在线着慢慢跑？ rsync 跑完后停机再增量跑下变化的就可以直接下掉上线了啊？

[Kinnice]

三四千差不多，直接买流量包就可以

[yc8332]

数据迁移过程不停机，就是要切到云上的时候停一会就行。。。就是通过数据库同步功能做的。。数据也有几个 t

[dilu]

文件系统，我理解就是图片视频之类的静态资源呗？假设是这样的话那就很简单啊 甚至都不用停机

首先，假定原本的数据源为 A ，新的数据源为 B ，对 A 和 B 的操作主要就是读和写嘛～

对于读，可以先不用修改，返回的地址不同就行了，例如 A 返回的是 a.xxx.com/y.jpg B 返回的是 b.xxx.com/z.jpg

对于写，可以设置一个开关，第一步先双写一段时间，返回的读地址是 A 的，经过一段时间可以按流量返回读 B 的地址。

经过一段时间的验证，确认数据源 B 是稳定的之后，改写的开关，改为只写到 B ，只返回 B 的地址。当然此时 A 依然可以访问。

同时，想办法把 A 的文件拷贝到 B ，这个随便你怎么搞都行，主要成本在流量费上。假设有千兆的同步速度，平均稳定在 100Mb/s 的话，10*1024*1024/100/3600 约等于 29 小时，速度还算可以的。

再验证一段时间，数据源 B 完全没问题之后，把之前指向 A 域名的全部更新为指向 B ，再过一段时间确认没问题了再彻底下掉 A 即可。

[wangyzj]

@yc8332 #18 虽然我和你的场景不一样，但你应该不是一个库那么大把？

[wangyzj]

@dilu #19 你这个针对互联网场景可以，我这个不太一样，不过还是谢谢

[yc8332]

@wangyzj 不是，有好几个库。。最大的 2t 左右

[cyningxu]

都可以停机，那方案不是贼简单？

[q958951326]

弄个百度云盘会员，没多少钱。操作简单，速度取决于你的云服务器的上行带宽，愿意花钱就开个临时带宽升级(我这里开一天 300 多)，不愿意就慢慢跑呗。

[wangyzj]

@yc8332 #22 也不算小