首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
V2EX  ›  MySQL

MySQL 怎么快速全量同步到新的数据库中?

  •  
  •   zealinux · 50 天前 · 3215 次点击
    这是一个创建于 50 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在使用传统的方式来将一个 DB 同步到另一个新的 DB 中,

    导出:mysqldump,
    导入:mysql source <sql_file>
    

    由于 DB 比较大( 30GB ),无论导出,还是导入,都相当慢。

    有没有其他更好的方式来做这个工作?


    不同的云平台的 RDS,MySQL 5.7

    18 回复  |  直到 2019-10-22 10:21:10 +08:00
        1
    airfling   50 天前
    物理 copy 到移动硬盘,然后转移到新的机器上
        2
    airfling   50 天前
    30g 你只能找服务商了
        3
    rykinia   50 天前
    30g 而已,dump 下来压缩下,用一晚拖下来,再用一晚传到新服务器上
        4
    ADME   50 天前
    用工具直接同步过去呗,不过 30g 不知道能不能行
        5
    ys521   50 天前
    我都是物理操作 捂脸
        6
    xmlf   50 天前 via Android
    同问,楼主是问快速同步::
        7
    PainSwim   50 天前
    我司是使用 Kettle 工具的。方便,效率还行,同步差不多有每秒 1000 条数据。
        8
    yzongyue   50 天前
    用云平台提供的数据迁移工具? 不知道速度如何
        9
    clearCode0915   50 天前
    不知道 Percona Toolkit 能不能满足你的需求
        10
    Myth666   50 天前
    rsync 把这个文件夹同步到 新的机器上去
        11
    zealinux   50 天前
    @PainSwim
    你 Kettle 是不是可以能跑在无 GUI 的 server 上,
    如果启动 Kettle 在本地开发机器上的话,估计会更慢的吧。

    ---
    我 Mac 上还没有启动成功过 Kettle 这个传说过的 ETL 工具。
        12
    reddean666   50 天前
    写程序导? 按时间或 id 将数据分割成小块,再分治?
        13
    zealinux   50 天前
    @Myth666 云平台上 RDS 是不会让你访问到真正的文件夹的。
        14
    dcsite   50 天前
    阿里云 RDS 数据迁移,全自动,省心
        15
    neko77   50 天前
    阿里云 dts 服务 或者 datax 自己撸配置文件
        16
    ackermanHu   50 天前
    datax
        17
    CivAx   50 天前
    * 先用 innobackupex 全量打包

    * 然后再用 innobackupex 全量恢复
    我们 71 GB 的数据,打包后约 12 GB。下载备份 6 分钟,解包 10 分钟,回拷 16 分钟,半小时左右数据库恢复完。

    如果你是阿里云的 RDS,那就直接下载备份包。

    如果不是的话,那就先下载到 RDS 所在的云服务商的内网的服务器,然后再用 lz4 配 tar 光速拉下来,带宽直接跑满。
        18
    mattx   46 天前
    如果 mysql 版本相同的话,可以用 xtrabackup 进行物理备份
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1024 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 19:00 · PVG 03:00 · LAX 11:00 · JFK 14:00
    ♥ Do have faith in what you're doing.