V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiaopanzi
V2EX  ›  Hadoop

关于 Hadoop3 的 HADOOP_MAPRED_HOME

  •  
  •   xiaopanzi · 2021-03-21 12:14:19 +08:00 · 1492 次点击
    这是一个创建于 1380 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我比较了 Hadoop 2 和 Hadoop 3 的关于伪分布式的部署文档,其中一个区别是 Hadoop 3 要求设置mapreduce.application.classpath,而该值中使用了环境变量HADOOP_MAPRED_HOME

    实际上,我在没有手动设置HADOOP_MAPRED_HOME的情况下,里面的 example 还是能够正常运行。所以 Hadoop 内部是如何得到HADOOP_MAPRED_HOME的默认值的?

    此外,即使是在 Hadoop 2 中,配置文件里面也有mapreduce.application.classpath这个属性,只是文档里面没有让设置。那么,究竟是什么场景下需要用到这个值?

    2 条回复    2021-05-07 17:29:39 +08:00
    e583409
        1
    e583409  
       2021-03-22 09:51:34 +08:00
    我本地 mac 电脑和线上 3 台服务器配置 给你参考一下:
    <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOP_HOME}</value>
    </property>
    <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    xiaopanzi
        2
    xiaopanzi  
    OP
       2021-05-07 17:29:39 +08:00
    @e583409 多谢回复。我只是好奇:Hadoop 内部是如何得到 HADOOP_MAPRED_HOME 的默认值的?它是否必须?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1226 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 18:05 · PVG 02:05 · LAX 10:05 · JFK 13:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.