V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  MrMike  ›  全部回复第 11 页 / 共 11 页
回复总数  206
1 ... 2  3  4  5  6  7  8  9  10  11  
2017-03-12 11:28:47 +08:00
回复了 MrMike 创建的主题 PHP PHP 如何高效快速解析 csv 数据并插入更新数据库?
@mingyun 现在没有在 foreach 里面插入数据了,目前就是在循环里串联字符串,然后在循环外进行数据插入的工作。但是现在如果数据很大的话,一次性将 1 万条数据循环完,就要内存溢出了,在循环内,还有几次数据查询的业务。
我现在比较困惑如何更有效的分段循环并插入数据了。
2017-03-11 12:06:21 +08:00
回复了 MrMike 创建的主题 PHP PHP 如何高效快速解析 csv 数据并插入更新数据库?
@yangqi 就是,我也发觉,我在尝试分段插入,我再检查下我的代码,也可能是用了多次数据库查询和循环,造成了内存溢出了。谢谢哈。
2017-03-11 11:44:51 +08:00
回复了 MrMike 创建的主题 PHP PHP 如何高效快速解析 csv 数据并插入更新数据库?
@yangqi 我试试不用 doctrine 类来插入数据,看看行不行。
2017-03-11 11:40:22 +08:00
回复了 MrMike 创建的主题 PHP PHP 如何高效快速解析 csv 数据并插入更新数据库?
@qhxin PHP 的内存限制:测试服务器上是 2G,线上服务器是 4G 。
2017-03-11 11:39:59 +08:00
回复了 MrMike 创建的主题 PHP PHP 如何高效快速解析 csv 数据并插入更新数据库?
@yangqi 代码单独解析 csv 文件的话, 1 万条数据没问题,但是如果再解析每一个产品所对应的产品图片,获取对应的图片路径,再插入数据库的话,就内存溢出了。我是把一万条数据组成一条 MYSQL INSERT INTO 语句一次性插入的,我直接将生成的 MYSQL 语句单独使用 PHPMYADMIN 进行插入,是完全可以执行的。但是一旦放在代码里,就不行。
2017-03-11 09:29:52 +08:00
回复了 MrMike 创建的主题 PHP PHP 如何高效快速解析 csv 数据并插入更新数据库?
@Felldeadbird
@yangqi
图片肯定不是存储在数据库的,是存在硬盘上的。
csv 在压缩包里,是先通过 ftp 上传到服务器后,再通过 web 的方式进入网站后台去进行在线解压缩并解析 csv 插入更新数据库的。
内存,测试服务器上是 2G,线上服务器是 4G 。

我想过异步处理,但是对 shell 脚本不熟,所以没有完全实现。

谢谢。
1 ... 2  3  4  5  6  7  8  9  10  11  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2543 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms · UTC 15:54 · PVG 23:54 · LAX 08:54 · JFK 11:54
Developed with CodeLauncher
♥ Do have faith in what you're doing.