V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lialosiu
V2EX  ›  NAS

大佬们 NAS 搜索文件都是怎么解决的

  •  
  •   lialosiu · 2022-08-22 18:23:39 +08:00 · 2782 次点击
    这是一个创建于 609 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我现在的配置是洋垃圾超微板子,带硬盘 3x3T ,2x16T

    硬盘大,小文件多,linux 下跑搜索简直痛苦面具拉满...

    试了下各种搜索工具都不尽人意,始终达不到 everything 那种搜啥出啥的感觉,甚至建索引都要跑好久好久....

    然后新增文件还经常不能实时搜索到...

    linux 下就没哪个文件系统有能实现搜啥出啥的吗(

    19 条回复    2022-08-23 12:16:25 +08:00
    dilu
        1
    dilu  
       2022-08-22 18:41:54 +08:00
    装个黑裙吧 别给自己带痛苦面具了
    BeautifulSoap
        2
    BeautifulSoap  
       2022-08-22 18:49:03 +08:00
    我 NAS 用 Samba 挂载到 Windows ,然后直接用 everything 对挂载的盘做定期的全盘索引(其实只要是在装了 everthing 的系统里操作挂载的盘,everthing 都能实时索引到的)

    我虽然一个盘 14T 大,但每次索引基本几分钟就结束了并不慢(小文件实在太多了的话另说)
    delectate
        3
    delectate  
       2022-08-22 18:49:36 +08:00
    ssh 进去,然后 tree 列出来所有文件。把 txt 拉到本地,正则查找文件。
    ngv2
        4
    ngv2  
       2022-08-22 18:51:52 +08:00
    mlocate
    BeautifulSoap
        5
    BeautifulSoap  
       2022-08-22 18:59:14 +08:00
    > linux 下就没哪个文件系统有能实现搜啥出啥的吗

    没有,linux 的文件系统从原理上就根本不支持不扫全盘就建文件索引找文件。linux 下无论什么查找工具,归根结底到头来都是扫全盘
    ngv2
        6
    ngv2  
       2022-08-22 19:02:55 +08:00
    @BeautifulSoap
    mlocate
    虽然本质上也是扫全盘,但这个工具会定期扫并且把改动存到数据库里
    查找是不需要扫盘的,只需要查库

    另外还有 rlocate locate 之类的工具
    BeautifulSoap
        7
    BeautifulSoap  
       2022-08-22 19:08:46 +08:00 via Android
    @ngv2 啊,我还以为 lz 想问的是 linux 下有没有像 Windows 下的 everything 这种不用扫全盘就能建全盘索引,并且所有文件操作实时收录的软件。如果接受定期扫全盘的话,的确 linux 下工具选择挺多的
    nkidgm
        8
    nkidgm  
       2022-08-22 19:18:55 +08:00
    群晖的全局搜索很快的
    ScepterZ
        9
    ScepterZ  
       2022-08-22 19:26:08 +08:00
    我直接装了 Windows ,自然获取了 everything 的那种感觉(
    wudaye
        10
    wudaye  
       2022-08-22 19:26:59 +08:00
    何必呢,win server 多方便
    tpxcer
        11
    tpxcer  
       2022-08-22 23:32:33 +08:00
    直接命令行进去搜的
    zcloud
        12
    zcloud  
       2022-08-23 06:36:42 +08:00
    你 Windows 安装 everything 。然后 everything 这样设置就好了。
    Windows 映射网络驱动器 映射 NAS 中的磁盘。
    然后打开 everything 。
    工具→选项→索引→文件夹→添加文件夹(选择刚才映射的磁盘即可) 即可。
    lialosiu
        13
    lialosiu  
    OP
       2022-08-23 10:18:07 +08:00
    @BeautifulSoap 我想要的就是类似 everything 这种不用全盘扫的...

    主要是几十 T 的硬盘,全盘扫一遍几个小时没了,扫的时候还 io 拉满,响应巨慢....

    试过群晖了,并没什么卵用,还是要全盘扫。然而我 nas 上一大堆小文件,甚至还有好多项目的 node_module 之类的(

    而且重点是索引更新不及时....

    怀念起当年 windows server 一把梭的时候了,存储空间一拉,smb 一开,everything 一装,甚至还能客户机搜索 nas 上的 everything (
    lialosiu
        14
    lialosiu  
    OP
       2022-08-23 10:20:39 +08:00
    @BeautifulSoap 我很好奇为啥 linux 下林林总总这么多文件系统,就没人设计一个能快速索引文件的,就很怪(
    TerranceL
        15
    TerranceL  
       2022-08-23 10:28:11 +08:00
    换个思路,尝试整理一下硬盘?
    lialosiu
        16
    lialosiu  
    OP
       2022-08-23 10:32:34 +08:00
    @TerranceL 几十 T ,整理要命的(
    aloxaf
        17
    aloxaf  
       2022-08-23 11:43:30 +08:00
    @lialosiu #13

    考虑用 lolcate-rs ,然后设定不需要索引的文件夹,并根据数据冷热建立多个数据库?

    > 我很好奇为啥 linux 下林林总总这么多文件系统,就没人设计一个能快速索引文件的,就很怪(
    因为这个需求太小众了?其实现在有了 fanotify ,理论上也可以实现和 everything 类似的实时索引的工具,但是并没有人去做……
    ellermister
        18
    ellermister  
       2022-08-23 12:14:22 +08:00
    @lialosiu
    我也希望知道 linux 代替 every thiny 的软件,搜文件太痛苦了,现在只能用目录区分,自己一个一个找。
    或者用网盘程序挂 WEBDAV ,存储之后在软件 /数据库里面差。没有找到更好的方案。
    v2tudnew
        19
    v2tudnew  
       2022-08-23 12:16:25 +08:00
    Everything 确实很厉害,尤其文件列表可以把离线硬盘所有文件都弄好直接搜索。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5387 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 07:38 · PVG 15:38 · LAX 00:38 · JFK 03:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.