FYFX 最近的时间轴更新
FYFX

FYFX

V2EX 第 198487 号会员,加入于 2016-10-26 22:56:53 +08:00
FYFX 最近回复了
@charlie21
后端一般不方便跨多个项目组获取数据源权限吧,别人可能会开放简单的数据查询权限,但是重计算的我感觉一般不太会,数据组一般对接很多个后端项目组;还有就是一般涉及的数据量都挺大的基本都要用 spark/flink 来跑
@charlie21
SQL boy ,主要是 ETL ,做数据报表,给做算法的提供数据源,也会给后端提供数据服务
35 天前
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
@mmm159357456
就是用 for 循环中的那些数据,生成一个全量的表表头是 geometry start_date end_date theshold(不过我在你代码里没看到这个变量从哪来的),然后和 data 做内连接(而且像前面说的,data 数据可以先做一次预聚合),内连接就是你写的那些条件,然后结果应该就是你要得数据了。还有内存放不下的话,看着行数据之间是没有依赖的,我感觉可以拆 data 的数据分多次处理吧,然后再合并,类似于 map-reduce
35 天前
回复了 mmm159357456 创建的主题 Python Python 的多层嵌套循环如何优化?
你试着把 for 循环的数据构造一个 dataframe 然后和 data join(pandas 里面应该是 merge)然后再算结果呢
47 天前
回复了 yuhuanxi 创建的主题 软件 用过很多笔记,最终回到了 obsidian
@kouhe3 #51
但你这笔记没法检索啊
47 天前
回复了 brader 创建的主题 程序员 想问下大家一直说的谷歌服务是什么?
你想说的是 GMS 吗
希望英英释义+1
47 天前
回复了 goodboysisme 创建的主题 Python 关于 csv 大文件, Python 处理的问题
你这主要是查询吧,找个数据库吧
54 天前
回复了 haolongsun 创建的主题 Windows win11 把 ui 玩透了
@James369 #20
现在 powershell 可以通过 PSReadLine 设置 emacs keybing 了
https://github.com/PowerShell/PSReadLine
55 天前
回复了 tool2d 创建的主题 编程 创建一个无法被破解的 zip 压缩包
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3270 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 14:10 · PVG 22:10 · LAX 06:10 · JFK 09:10
Developed with CodeLauncher
♥ Do have faith in what you're doing.