这是一个创建于 2800 天前的主题，其中的信息可能已经有所发展或是发生改变。
有个日志文件，每行是用户的行为日志，文件有 10 个多 G ，想要把有关键字 XXX 的行给找出来，不知道各位大神有没有好方法。
之前用了 windows find 和 linux grep 感觉效率不是很高。
之前用了 windows find 和 linux grep 感觉效率不是很高。
 |
1
phrack 2017-03-25 12:05:22 +08:00 via Android  1
定义你要的效率
10g 在 grep 面前要不了太久吧 |
 |
2
yttyhf2006 2017-03-25 12:06:18 +08:00 via Android 1
效率不高是磁盘不够快？
|
 |
3
loading 2017-03-25 12:13:52 +08:00 1
如果不是磁盘问题，多线程吧。
|
 |
4
swulling 2017-03-25 12:21:28 +08:00 via iPhone 1
10G grep 很快，注意如果只是找关键字的话用 -F
|
 |
5
sensui7 2017-03-25 14:42:05 +08:00 1
流程: 1. 读数据, 2. 搜索, 3.写输出
主要慢在 读和写上. 一种方法是将文件分成 10 份, 同时读, 但对机械硬盘没什么作用. 但是你可以试试把这 10 份文件放在 10 块硬盘同时读. (滑稽 还有一种即时输出结果, 这样在等待的时候起码能缓解下情绪. |
 |
6
FrankHB 2017-03-25 15:07:11 +08:00 1
虽然可能不是主要问题，不过 grep 的实现性能经常不够用。可以试一下 ag(the silver searcher)和 ripgrep 之类，用法和 grep 大同小异。
不过如果模式简单（只是找关键字 XXX ），可能自己直接实现个 native 程序（在各种意义上）还更快点…… |
Select Language