首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  2019

分布式压缩多个 hdfs 上的文件解决方案

  •  
  •   ysn2233 · 230 天前 · 921 次点击
    这是一个创建于 230 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在我在 hdfs 上有一千个文本文件,每个大概 200m-1g,想快速的压缩这些文件上传到 hdfs 上去。在单机用多进程跑了但速度还是没达到理想的要求,想问一下有没有分布式的方法执行这个问题。我们的机器之间 ssh 不通所以 gnu parallel 不行,想了解一下别的有什么解决方案,谢谢。

    2 回复  |  直到 2019-04-23 22:12:21 +08:00
        1
    ipwx   230 天前
    Spark. 用 sc.map
        2
    billlee   229 天前
    hadoop map reduce
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3082 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 27ms · UTC 11:09 · PVG 19:09 · LAX 03:09 · JFK 06:09
    ♥ Do have faith in what you're doing.