Keuin 最近的时间轴更新 Keuin 最近的时间轴更新 |
KeuinV2EX 第 211862 号会员，加入于 2017-01-22 19:01:13 +08:00 |
Keuin 最近回复了
12 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 如果只用 Nginx 等现成的 HTTP Server 搭建 HTTP 服务，不自行建立 TCP 连接，是否就不用考虑 TCP 粘包这类传输层的问题？ |
2025 年了还在粘包
154 天前 回复了 wingtatlee 创建的主题 › NAS › 淘寶海外 16tb 酷狼 pro 机械硬盘 OEM 全新盤靠得住嗎？ |
这个价格包清零的
273 天前 回复了 TMMXA 创建的主题 › NAS › 给实验室配了一台公用 nas 想让各位大佬出出主意 |
不要自己意淫需求，你这里大部分都是伪需求
买个白群或者威联通，插几块新盘，解决，不要搞这些图吧方案，公共资产不是你的 homelab
买个白群或者威联通，插几块新盘，解决，不要搞这些图吧方案，公共资产不是你的 homelab
279 天前 回复了 desGalaxy 创建的主题 › Windows › Crowdstrike crash 是由空指针解引用导致 |
Rust 也不能保证不会出 bug ，解决 bug 的应该是流程和规范，而非语言
288 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 生产服务器 RAID5 挂了一块盘，最佳实践是马上补上一块重建还是立即备份全阵列，备份完再补盘？没有备份，数据不丢失比短期可用重要。 |
仅理论分析一下，raid5 每个盘存储的都是奇偶校验信息，没有存原始数据的盘，因此备份和重建都需要读所有盘的所有内容。丢数据是坏了两个盘，现在已经坏了一个，备份跟重建都是要读所有盘，因此没有区别，怎么样都可以。
322 天前 回复了 heguangyu5 创建的主题 › 程序员 › [单个 6.2TB 203 亿行 的超大 csv 文件保持顺序的情况下去重]的两个解决方案 |
@wxf666 自己研究一下吧，昨天的楼被删了，我懒得再写一遍了，只需要假定 csv 列数固定，不需要用到 cut 。如果假定不了，简便起见，需要找一个输入里面没有的分隔符。
写入量的话，我在原 po 主帖子里分析过，不过那里把加行号的中间结果也全部存下来了，所以当时给的磁盘用量是 3*6TB 。如果都用流式传递中间结果的话，两个 sort 需要有 2*6TB 的临时空间。
写入量的话，我在原 po 主帖子里分析过，不过那里把加行号的中间结果也全部存下来了，所以当时给的磁盘用量是 3*6TB 。如果都用流式传递中间结果的话，两个 sort 需要有 2*6TB 的临时空间。
323 天前 回复了 heguangyu5 创建的主题 › 程序员 › [单个 6.2TB 203 亿行 的超大 csv 文件保持顺序的情况下去重]的两个解决方案 |
@wxf666 昨天写的马虎，忘记顺序这个要求了，我其实又回复了一次来 update ，不过看起来楼被 v 站吞了。保序的方案是用 sort -u -k1,4 来只按原内容排序并去重，最后 sed 去掉行号，最最后的 uniq 去掉即可
323 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存 |
@Keuin 没有保序，bugfix 一下。假设 csv 有 4 列，把 sort 替换成`sort -u -t, -k1,4 | sort -t, -k5`，把结尾的 uniq 删掉，变成：
```shell
awk '{print $0","NR}' input | sort -u -t, -k1,4 | sort -t, -k5 | sed -E 's/,[0-9]+$//' | uniq
```
不能假设列数的话，受这几个 shell 工具的限制，需要换一个没有出现过的字符做分隔符
```shell
awk '{print $0","NR}' input | sort -u -t, -k1,4 | sort -t, -k5 | sed -E 's/,[0-9]+$//' | uniq
```
不能假设列数的话，受这几个 shell 工具的限制，需要换一个没有出现过的字符做分隔符
Select Language