V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  182247236  ›  全部回复第 1 页 / 共 6 页
回复总数  101
1  2  3  4  5  6  
2022-01-02 23:17:35 +08:00
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@julyclyde 我这边有 100 多个域名,一个月的数据就是 80 多万条了,查起来确实太慢了。所以想用 python 的多线程解决。。。SQL 注入漏洞的问题后面再解决吧。。
2022-01-02 23:12:53 +08:00
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@Anivial 这个方式最近有想过,但是没有专业学过数据库,又着急,所以往后可能会考虑分表,SQL 注入这个超纲了。。。
2022-01-02 23:10:12 +08:00
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@neoblackcap 我的做法是写多线程,每个线程都请求数据库,但你说的这个很有可能是我遇到的问题,我节后好好看看
2022-01-02 23:07:45 +08:00
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@meiyoumingzi6 我的处理结果是 SQL 慢了,pandas 还是很给力的。。。哭
2022-01-02 23:06:44 +08:00
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@lybcyd 一个月的数据大概有 80 万条左右,用 mysql 做 group by sum 真的估计更慢了,这步我用 pandas 处理其实挺好的了,这个业务是内部运维用的,SQL 注入这些因为我不是专业的,所以暂时先不理会吧
2022-01-02 23:02:42 +08:00
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@shyrock 使用场景注定了用 redis 不行,数据库方面由于数据量真的太大了,所以我放弃了在这上面优化,多线程这块我再研究研究。
2022-01-02 22:58:58 +08:00
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@Kinnice 没有用 mysql 的 group by 但是测试过了这个过程我用 pandas 计算非常快了。
2021-12-30 18:08:29 +08:00
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@Kinnice 我现在用 for 就是分批次获取数据,但是 20 秒还是没法接收。
2021-12-30 18:07:52 +08:00
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@Kinnice 一次性把月数据取出来这个动作就需要 120 秒了,所以没法这么做的
2021-12-30 16:36:25 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
因为数据库是在不熟悉,公司只有一位稍微懂点的同事,给我的意见都是分表,因为 IN 的条件太多了,无论如何都快不了的,所以还是用了最笨的方法,按天查询,每次返回的结果在用 pandas 处理,一个月的数据其实就是请求数据库 30 次,速度已经从 120s 降到了 20s ,虽然还是觉得太慢了,接下来试试能不能从多线程的思路解决,提高请求 mysql 的效率看看能不能再优化下,谢谢各位大佬。
2021-12-27 15:48:38 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
我现在检查到第一个问题,首先我查一天的所有数据需要的时间是 1s 左右,但是没走索引,所以我的索引是不是做的有问题?
2021-12-27 15:31:48 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@lscho 数据库和我的服务器都在机房,很近的
2021-12-27 15:00:19 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
另外如果我查询 1 天的数据是飞快的,我还以为 30 天的数据也就是递增查询就完了
2021-12-27 14:53:06 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
实在是头大,数据库知识不太懂,也是边做边学。有懂的请指教下!
2021-12-27 14:49:52 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@long2ice 我查下联合索引怎么用
2021-12-27 14:25:15 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
我用 zabbix 或者别的一些数据监控,他们的都是 1 分钟存一条数据,数据量比我的大多了,怎么别人的查询就这么快...
2021-12-27 14:21:04 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@wolfie 刚贴了 explain ,force 不太懂是啥 lol
2021-12-27 14:19:55 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@harde 好滴!
2021-12-27 12:57:35 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@icaca append 了,麻烦大佬看下
2021-12-27 12:55:32 +08:00
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@vanton 收到
1  2  3  4  5  6  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   996 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 22:19 · PVG 06:19 · LAX 15:19 · JFK 18:19
Developed with CodeLauncher
♥ Do have faith in what you're doing.