xxfye

xxfye

V2EX 第 524048 号会员,加入于 2020-12-16 12:54:28 +08:00
今日活跃度排名 10989
根据 xxfye 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
xxfye 最近回复了
4 天前
回复了 clear 创建的主题 Apple 如果泄漏的路线图为真,那 Apple 真的💊
上一次知乎看见华为穿越时空因用鲲鹏 920 抄袭 A77 后,现在华为又用时空机抄袭苹果高通的未来技术来了。
华为真是糟践时空机了啊。
8 天前
回复了 laikick 创建的主题 问与答 大街上各种摄像头到底有多少是好的
大部分都是好的,直接去派出所监控室瞄一眼不就知道了
1. hash
2. 加序号
3. 按照 hash 分区
4. 逐个处理分区
5. 分区内排序
6. 分区外归并排序

只有单机的话,可以考虑用 duckdb ,多机就用 spark 吧。
@drymonfidelia 看错了,还以为是 6GB 的 csv 文件在线处理呢,那确实不适合 duckdb 。

还是上 spark 吧,硬盘配大点就行。

203 亿行 csv 有那么大吗,我们每天备份全量的 17 亿行信息,保留几十天,用 orc 存储,也就几百 G 。
duckdb 值得拥有
@liyafe1997 对呀,客户当然有权利可以分发,但是红帽就终止合同,停止你获得后续的二进制和源码的机会。这个并没有限制你已经到手的源码和二进制的分发权利。因此不违背 gpl 协议。
gpl 规则是获得二进制的人,也能获得源码。
因此只要限制二进制的获得合同就行。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   963 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 21:08 · PVG 05:08 · LAX 14:08 · JFK 17:08
Developed with CodeLauncher
♥ Do have faith in what you're doing.