Hadoop 简要安装(三) 作者: 王十三 时间: 2017-05-01 分类: 安装过程 > 初始环境 之前我们已经安装伪部署版本。 按照 之前的计划 我们还有两个节点服务器 36，37 服务器 192.168.31.36 ， 192.168.31.37 ##环境准备 修改三台服务器名称 su vi /etc/sysconfig/network //192.168.31.30 ,Master //192.168.31.36 ,Slave36 //192.168.31.37 ,Slave37 映射IP su vi /etc/hosts ---------------------------------------- 192.168.31.30 Master 192.168.31.31 Job 192.168.31.36 Slave36 192.168.31.37 Slave37 ---------------------------------------- 复制 hadoop 到客户机上面。 // 192.168.31.36,192.168.31.37 cd /public_data/ //这个是我的虚拟机映射的目录，大家根据自己情况下载 cp -Rf ./hadoop/hadoop-2.6.4 /usr/local/hadoop SSH 登录 实现服务器之间的免登录 （30 免登录到 36 ，37） 方法一： // 192.168.31.30 su hadoop cp ~/.ssh/id_rsa.pub /public_data/hadoop/ // 192.168.31.36,192.168.31.37 su hadoop mkdir ~/.ssh/ cat /public_data/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys chmod 700 ~/.ssh/ 方法二： //192.168.31.30 su hadoop ssh-copy-id 192.168.31.36 ssh-copy-id 192.168.31.37 //注意如果发送密码完成后。依然不能登录。 chmod 700 ~/.ssh/ chmod 600 ~/.ssh/authorized_keys //权限不对也可能导致无法登录 ##配置服务器 192.168.31.30 由之前伪分布式 改成 正式 Master 不在负责存储 // 192.168.31.30 编辑 ./etc/hadoop/slaves 文件 slaves 文件是向 Master 说明有几个节点服务器 --------------------------------------------------------------- #文本 localhost #更变为 192.168.31.36 192.168.31.37 --------------------------------------------------------------- 然后关闭防火墙 (测试方便，关闭三个服务器防火墙) service iptables stop #配置节点服务器 192.168.31.36， 192.168.31.37 这两个服务器好配置。只需要将 Master( 192.168.31.30) 上的 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 复制过去就好了 //core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.31.30:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> </configuration> //hdfs-site.xml <configuration> <!-- 修改IP --> <property> <name>dfs.namenode.secondary.http-address</name> <value>192.168.31.30:50090</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration> // mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!-- 新增参数 --> <property> <name>mapreduce.jobhistory.address</name> <value>192.168.31.30:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>192.168.31.30:19888</value> </property> <!-- --> </configuration> //yarn-site.xml <configuration> <!-- 修改IP --> <property> <name>yarn.resourcemanager.hostname</name> <value>192.168.31.30</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ##启动 192.168.31.30 主服务器 /usr/local/hadoop/sbin/start-dfs.sh  我们可以看到两个 36，37服务器 节点服务器已经启动成功了 访问 http://192.168.31.30:50070/dfshealth.html   #启动YARN 8088 端口 /usr/local/hadoop/sbin/start-yarn.sh #启动 historyserver 服务 19888端口 /usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver ##测试上传 //创建用户名称 hdfs dfs -mkdir -p /user/hadoop //创建用户下的文件夹 hdfs dfs -mkdir box //上传到文件夹中 hdfs dfs -put ./vagrant-centos-6.7.box box ##问题记录 １．在启动Master(192.168.31.30)后，查看 Slave36(192.168.31.36) Slave37(192.168.31.37) 执行 JPS 名称  看下 DataNode 是否已经启动 ２。NameNode 格式化前 最好将缓存全部请空掉。不然无法启动。每次格式化都会导致DHFS的磁盘UID变更。所以清空就好了。 标签: Hadoop