› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
这是一个创建于 3099 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在在测试一些想法，目前的程序是每次运行的时候，总要读取公司生产环境的数据库中的数据。只是读取使用，没有其他。
如果全部读取，大约 3G 左右 的内存占用，网络速度不是很快。直接用数据接口读取耗时很久。
程序是 python 写的，接受参数是一个 pandas 的 Panel ，程序内部是做了一个循环，一条一条的 feed 过去。
我的基本想法是能不能就直接就存到内存中，反正数据量也不大，这样就省去网络下载的开销。
现在能想到的就是把整个表给下载下来，保存成 csv 文件，然后本地读取。
这样一来，每次调试 /运行的时候， python 读取 G 级别大的 csv 也要耗时一点(不过比从数据库读快多了）。
1.感觉这中解决方法很 dirty ，一点不优美。
2.也有同事会有同样的需求，总不能每台机器上都自备 csv 吧。
希望各位多多指教。
如果全部读取，大约 3G 左右 的内存占用，网络速度不是很快。直接用数据接口读取耗时很久。
程序是 python 写的，接受参数是一个 pandas 的 Panel ，程序内部是做了一个循环，一条一条的 feed 过去。
我的基本想法是能不能就直接就存到内存中，反正数据量也不大，这样就省去网络下载的开销。
现在能想到的就是把整个表给下载下来，保存成 csv 文件，然后本地读取。
这样一来，每次调试 /运行的时候， python 读取 G 级别大的 csv 也要耗时一点(不过比从数据库读快多了）。
1.感觉这中解决方法很 dirty ，一点不优美。
2.也有同事会有同样的需求，总不能每台机器上都自备 csv 吧。
希望各位多多指教。
 |
1
3dwelcome 2016-06-24 09:24:29 +08:00
一般都是直接用本地 sqlite 数据库做个缓存。每次调试程序，都从网络下载 3G 数据，太夸张了。
|
 |
2
suduo1987 2016-06-24 09:54:46 +08:00
要从优化数据开始啊 3G 数据太多了 什么方法也抗不住啊
|
 |
3
domty 2016-06-24 10:54:35 +08:00
缓存数据库啊，小点的本地 sqlite,大点的单独放个服务器装 redis ， memcache 。
同时如果远程库是在不断变化的可以考虑做个同步程序。 |
 |
4
billgreen1 OP @domty ,redis 是要放在本机还是另外的服务器？
|
|
5
domty 2016-06-24 13:16:17 +08:00
@billgreen1
随便啊，你要是觉得本机性能允许同时运行程序和 redis 就放本机呗。 |
 |
6
jatesun 2016-06-24 14:31:50 +08:00 via iPhone
嗯 redisredis 缓存确实是个好方法。如果主数据库经常变动可以写个小同步程序根据实际情况定时同步
|
 |
7
realpg 2016-06-26 02:17:00 +08:00
第一个，把你远程 MYSQL 作为主库，本地这边建立个 MYSQL 作为从库
这样基本就解决网络问题了…… |
Select Language