首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

有 10T+的数据, 怎么对其做一个搜索引擎

  •  
  •   macroideal · 2017-03-21 10:13:47 +08:00 · 3242 次点击
    这是一个创建于 427 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在初步是 50T 的数据存在 Mongodb 里, 数据都是统一结构, 现在要对这些数据做一个搜索引擎, 有什么好的方案? 问题比较笼统哈.

    20 回复  |  直到 2017-03-21 23:00:48 +08:00
        1
    liangdi   2017-03-21 10:15:05 +08:00
        2
    murmur   2017-03-21 10:17:15 +08:00
    es 或者 lucene 是全文索引,结构化搜索不太适合,我记得我当年用这类索引的时候所有字段都被转成字符串了,现在估计会好些
        3
    LeeSeoung   2017-03-21 10:18:00 +08:00
    es 分布式
        4
    Zuckonit   2017-03-21 10:19:38 +08:00
    es ,最好的选择
        5
    iot   2017-03-21 10:22:22 +08:00
    es+1
        6
    misaka19000   2017-03-21 10:34:09 +08:00
    请问一下楼上各位, es 该怎么学啊?文档看得我好晕的说😢
        7
    server   2017-03-21 10:35:52 +08:00
    es 有支持 mysql 语法插件
        8
    laxenade   2017-03-21 10:55:21 +08:00
    竟然没有人提 solr 真是江河日下啊
        9
    LeeSeoung   2017-03-21 11:21:43 +08:00
    #8 说完 es 想说 solr 的给忘了哈哈
        10
    slixurd   2017-03-21 11:33:33 +08:00
    @murmur 自行配置 Schema 就行了...
    如果没有配置 Schema,它会自动根据第一个写入的 Document 去猜...
    猜错了那也是没办法的事情...
    不过在结构化查询上的确效率不算太好,至少比常见的关系型数据库慢一个量级....
        11
    PythonAnswer   2017-03-21 11:56:55 +08:00
    顺便问下, kibana 有办法呈现 field 中的 html 吗?

    es 有没有能呈现 html 的 gui ?懒得自己实现了。。。
        12
    murmur   2017-03-21 12:41:19 +08:00
    @laxenade 用 solr 不如直接上 lucene ,更 geek ,可以从底层玩出花
        13
    byfar   2017-03-21 12:48:38 +08:00
    sphinx 不能吗
        14
    artandlol   2017-03-21 15:00:10 +08:00
    京东的数据?
        15
    foo2bar   2017-03-21 16:15:37 +08:00
    elk
        16
    foo2bar   2017-03-21 16:16:48 +08:00   ♥ 1
        17
    fuxiaopang   2017-03-21 16:19:05 +08:00 via iPad
        18
    zacard   2017-03-21 16:52:02 +08:00
    elasticsearch
        19
    sunsulei   2017-03-21 16:57:36 +08:00
    @artandlol 搞事情搞事情。
        20
    lyram   2017-03-21 23:00:48 +08:00
    数据结构统一的情况下, 10T 的数据用 ELK 还行,在硬件资源有瓶颈限制的情况下,比 ELK 好玩的还有 Hadoop 之流,当然还是要自身的场景需求来调整~
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   1876 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 19ms · UTC 15:20 · PVG 23:20 · LAX 08:20 · JFK 11:20
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1