V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mmm159357456  ›  全部回复第 17 页 / 共 32 页
回复总数  639
1 ... 13  14  15  16  17  18  19  20  21  22 ... 32  
2022-10-31 15:51:31 +08:00
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
@FYFX #25 能具体说说吗?我这每个循环都相当于处理逻辑的实参

@liuxingdeyu #26 dask 已经这么做了

@TimePPT #27 可以 groupby ,这样的话就要涉及 multiindex 。另外我的机器内存放不下所有数据
2022-10-31 15:25:43 +08:00
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
@zzl22100048 我再看看吧,我现在想做优化的原因在于循环内的处理逻辑一直在变动,每次变动后需要一天的时间才能算出来一个模式(还不知道对不对),我着急...
另外:
1.我确实需要全部遍历
2.每一层的迭代对象我都预处理成固定长度的对象了
2022-10-31 15:21:46 +08:00
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
2022-10-31 14:43:43 +08:00
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
@featureoverload 好的,我再思考下
2022-10-31 14:35:17 +08:00
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
@liuxingdeyu #16 f 里就是根据 list_a 遍历加载模式数据(按日排列),然后根据年份( list_b )及模式中的要素值计算相关指标(几乎都是加减乘除和 datetime 操作),再和定义好的界限值比较,组成新的 dataframe 返回,已经安排上了 dask ,现在是多进程、多线程在跑,但是一个模式也要跑 28h 的样子,现在想调优,但是不知道具体瓶颈是在哪儿

@wxf666 如上,现在的想法是把嵌套的循环打平,不知道先行 product 后,能不能提高执行效率
2022-10-31 14:02:00 +08:00
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
@lolizeppelin #12 对于硬盘 IO 的循环也可以这么操作吗?

@wxf666 #13 协程给我的感觉就是难以 debug ,能不用我尽量不用

@paramagnetic #14 我现在遇到的问题就在于:需要调取同一目录下不同模式的模拟数据(大概 40 多 G ,3kw 条数据),每种模拟数据还有不同的处理水平,每个模式的数据文件中还有不同的要素,最终需要每个要素正交,分别计算。因为 pandas 只能在单核上跑,后面加上了 dask 之后还是慢,我就在想是不是要优化多层嵌套循环
2022-10-31 13:16:15 +08:00
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
@apake #7 没考虑 GIL 的问题吗?

@MrGba2z #8 收到,我看看文档

@chaunceywe #9 好的,我研究下
2022-10-31 12:05:40 +08:00
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
@reter
@ospider
如果业务中既有 IO 又有 cpu 密集呢?有无可能并行化 for 循环?是不是需要上协程
2022-10-31 11:39:29 +08:00
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
@zzl22100048 #1 对于使用 product 是否能提升执行效率呢?我知道这样是减少了嵌套层数
@buyan3303 #2 我研究下,谢谢
2022-10-29 11:22:43 +08:00
回复了 leavelet 创建的主题 服务器 Xeon Platinum 第三代 P 结尾的和不带 P 的有啥区别?
2022-10-28 11:32:11 +08:00
回复了 Allonsy 创建的主题 Python 最近使用 pycharm 时候发现一个很奇怪的问题.
我一直有这个问题,不管是在 pycharm 还是在 gateway 下
2022-10-28 11:25:45 +08:00
回复了 qq316107934 创建的主题 分享发现 Windows Dev Kit 2023 (ARM64 32GB+512GB) 开箱分享
国内要怎么买啊
有上瓦工的钱还不如直接鸡场
2022-10-27 21:04:09 +08:00
回复了 Xyg12133617 创建的主题 VPS 搬瓦工啊!又被封啦~
如果只是用来飞檐走壁的,那可以扔了
2022-10-27 20:11:47 +08:00
回复了 Droog 创建的主题 问与答 3389 端口开了两天,就被人搞了...
rdp 可以上证书验证吗?
2022-10-27 20:03:03 +08:00
回复了 CEBBCAT 创建的主题 全球工单系统 Oracle 的风控策略是否太不尊重人了?
其实我觉得有风控是正常的,但是不应该把正常用户封在门外,而让羊毛党肆意乱薅。
2022-10-27 15:53:34 +08:00
回复了 MrCsharp 创建的主题 深圳 怎么改变颓废的状态?
我就不适合上班
2022-10-26 14:41:44 +08:00
回复了 weishao666 创建的主题 问与答 银行不生产 1 园纸币,结婚需要咋办?
楼上说发彩票的我觉得很赞!
2022-10-26 14:40:34 +08:00
回复了 onhao 创建的主题 问与答 怎么看清华大学 700 多门学科用英语授课
我认为很有必要,不然英语文献是真的看不懂
1 ... 13  14  15  16  17  18  19  20  21  22 ... 32  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3782 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 10:17 · PVG 18:17 · LAX 03:17 · JFK 06:17
Developed with CodeLauncher
♥ Do have faith in what you're doing.