Hadoop 简要安装(三)

初始环境 http://wangshisan.com/blog/install-hadoop-two.html

之前我们已经安装伪部署版本。

按照 之前的计划 我们还有两个节点服务器 36,37 服务器

192.168.31.36 , 192.168.31.37

环境准备

修改三台服务器名称 su vi /etc/sysconfig/network

//192.168.31.30 ,Master
//192.168.31.36 ,Slave36
//192.168.31.37 ,Slave37

映射IP

su vi /etc/hosts
----------------------------------------
192.168.31.30 Master
192.168.31.31 Job
192.168.31.36 Slave36
192.168.31.37 Slave37
----------------------------------------

复制 hadoop 到客户机上面。

// 192.168.31.36,192.168.31.37
cd /public_data/ //这个是我的虚拟机映射的目录,大家根据自己情况下载
cp -Rf ./hadoop/hadoop-2.6.4 /usr/local/hadoop

SSH 登录 实现服务器之间的免登录 (30 免登录到 36 ,37)

方法一:
// 192.168.31.30
su hadoop
cp ~/.ssh/id_rsa.pub /public_data/hadoop/

// 192.168.31.36,192.168.31.37
su hadoop
mkdir ~/.ssh/
cat /public_data/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh/

方法二:

//192.168.31.30
su hadoop
ssh-copy-id 192.168.31.36 
ssh-copy-id 192.168.31.37

//注意如果发送密码完成后。依然不能登录。
chmod 700 ~/.ssh/
chmod 600 ~/.ssh/authorized_keys
//权限不对也可能导致无法登录

配置服务器 192.168.31.30

由之前伪分布式 改成 正式 Master 不在负责存储

// 192.168.31.30
编辑 ./etc/hadoop/slaves 文件
slaves 文件是向 Master 说明有几个节点服务器
---------------------------------------------------------------
#文本
localhost
#更变为
192.168.31.36
192.168.31.37
---------------------------------------------------------------

然后关闭防火墙 (测试方便,关闭三个服务器防火墙)
service iptables stop 

配置节点服务器 192.168.31.36, 192.168.31.37

这两个服务器好配置。只需要将 Master( 192.168.31.30) 上的 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 复制过去就好了

 //core-site.xml
 <configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://192.168.31.30:9000</value>
    </property>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/usr/local/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
    </property>
</configuration>

//hdfs-site.xml
<configuration>
    <!-- 修改IP -->
    <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>192.168.31.30:50090</value>
    </property>
    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

// mapred-site.xml
<configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
    <!-- 新增参数 -->
    <property>
            <name>mapreduce.jobhistory.address</name>
            <value>192.168.31.30:10020</value>
    </property>
    <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>192.168.31.30:19888</value>
    </property>
    <!--  -->
</configuration>

//yarn-site.xml
<configuration>
    <!-- 修改IP -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>192.168.31.30</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

启动 192.168.31.30 主服务器

/usr/local/hadoop/sbin/start-dfs.sh

启动主服务器

我们可以看到两个 36,37服务器 节点服务器已经启动成功了

访问 http://192.168.31.30:50070/dfshealth.html

启动主服务器

启动主服务器

#启动YARN  8088 端口
/usr/local/hadoop/sbin/start-yarn.sh 

#启动 historyserver 服务  19888端口 
/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

测试上传

//创建用户名称
hdfs dfs -mkdir -p /user/hadoop 
//创建用户下的文件夹
hdfs dfs -mkdir box  
//上传到文件夹中 
hdfs dfs -put ./vagrant-centos-6.7.box  box

问题记录

1.在启动Master(192.168.31.30)后,查看

Slave36(192.168.31.36)

Slave37(192.168.31.37)

执行 JPS 名称

检查启动项目 看下 DataNode 是否已经启动

2。NameNode 格式化前 最好将缓存全部请空掉。不然无法启动。每次格式化都会导致DHFS的磁盘UID变更。所以清空就好了。