本文共 1759 字，大约阅读时间需要 5 分钟。

Hadoop: Setting up a Single Node Cluster

 

官网下载 注意java-hadoop版本

 

Pseudo-Distributed Operation

 配置etc/hadoop/core-site.xml

       
            
     
      fs.defaultFS
             
     
      hdfs://localhost:9000
         
    
   

hadoop目录

<property>

  <name>hadoop.tmp.dir</name>

  <value>/usr/local/hadoop-3.2/data/<value>

<property>

配置root访问权限

 <property>

    <name>hadoop.proxyuser.root.hosts</name>     <value>*</value>   </property>   <property>     <name>hadoop.proxyuser.root.groups</name>     <value>*</value>   </property>  

配置etc/hadoop/hdfs-site.xml:

       
            
     
      dfs.replication
             
     
      1
         
    
   

检擦ssh服务是否存在

ssh localhost

 

格式化文件系统Format the filesystem:

$ bin/hdfs namenode -format

在sbin/start-dfs.sh 、 stop-dfs.sh start-yarn.sh stop-yarn.sh中加入启动用户

export HDFS_NAMENODE_USER="root"

export HDFS_DATANODE_USER="root" export HDFS_SECONDARYNAMENODE_USER="root" export YARN_RESOURCEMANAGER_USER="root" export YARN_NODEMANAGER_USER="root"  

启动dfs sbi/start-dfs.sh

注意 fs.namenode.http-address在hadoop-3.2.0版本上的默认值是 0.0.0.0:9870

webui http:localhost:9870

YARN on a Single Node

 

修改:etc/hadoop/mapred-site.xml

指定MapReduce程序应该放在哪个资源调度集群上运行。若不指定为yarn，那么MapReduce程序就只会在本地运行而非在整个集群中运行

       
            
     
      mapreduce.framework.name
             
     
      yarn
         
    
   

修改配置etc/hadoop/yarn-site.xml

   
      
    
        
     
      yarn.resourcemanager.hostname
        
     
      hdfs
       
    #配置yarn集群中的重节点，指定map产生的中间结果传递给reduce采用的机制是shuffle   
            
     
      yarn.nodemanager.aux-services
             
     
      mapreduce_shuffle
         
    
   

启动ResourceManager资源调度和nodeManager

sbin/start-yarn.sh

  webui 

  sbin/stop-yarn.sh

配置环境变量

export HADOOP_HOME=/opt/hadoop-3.1.2export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

 

 

 

 

 

 

 

 

转载地址：https://blog.csdn.net/zxb730916/article/details/100066076 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！