首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
audestick
V2EX  ›  分享创造

撸了一个 mongodb 和 elasticsearch 同步的小程序

  •  
  •   audestick · 2016-09-28 14:27:19 +08:00 · 1652 次点击
    这是一个创建于 1208 天前的主题,其中的信息可能已经有所发展或是发生改变。

    MongoSyncElasticsearch

    mongo-connector 使用的时候有 bug,所以自己实现了一个用来实现 mongodb 和 elasticsearch 数据同步和增量更新的小程序

    说明

    • MongodbSyncElasticsearch-all 这个文件夹是用来实现全量复制,使用的字段是_id
    • MongodbSyncElasticsearch-increment 这个文件夹用来实现增量更新,使用的字段是 lastget_at
    • 注意:你可以根据你的数据结构来修改代码(非常简单)
    • 分成两个部分,是因为数据量太大,如果用MongodbSyncElasticsearch-all来实现增量更新,那么就会非常消耗资源以及会很慢,所以就换了一个字段,并且实现了本地文件的写入和读取

    希望对你有用:)

    • 有问题可以 audestick#gmail 或直接提 issue
    第 1 条附言  ·  2016-09-28 15:44:33 +08:00
    1 回复  |  直到 2016-09-28 14:41:36 +08:00
    Nexvar
        1
    Nexvar   2016-09-28 14:41:36 +08:00
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4436 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 03:34 · PVG 11:34 · LAX 19:34 · JFK 22:34
    ♥ Do have faith in what you're doing.