Hadoop 简要安装(二) 作者: 王十三 时间: 2017-04-01 分类: 安装过程 评论 > 初始环境 http://wangshisan.com/blog/install-hadoop-one.html #准备工作 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.4/ hadoop-2.6.4.tar.gz 编译版本 hadoop-2.6.4-src.tar.gz 源码版本 我个人不喜欢使用源码版本。所以直接使用编译版本，如果后期我们需要改变环境时。在使用源码版本。 ##解压文件 cd /vagrant tar zxvf ./hadoop-2.6.4.tar.gz //解压hadoop sudo mv ./hadoop-2.6.4 /usr/local/ //改变目录路径 cd /usr/local/ //跳入目录 sudo mv ./hadoop-2.6.4 ./hadoop //改变目录名称 sudo chmod -R hadoop:hadoop ./hadoop //修改目录所属用户与组 ##测试 建立一个目录。随便放入一些文本文件。让hadoop 去进行检索。计算个数 cd /usr/local/hadoop sudo mkdir ./input // 创建一个测试目录 sudo cp ./etc/hadoop/*.xml ./input // 随便放入一些文件进入 让HADOOP进行检索 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep ./input ./output 'dfs[a-z.]+' cat ./output/* PS:每次运行 hadoop 测试 都需要删除 output 目录。 hadoop 不会删除或者覆盖这个目录的。不然就报错的。 ##恭喜你单机版已安装完成了,下面来做伪分布式 ##设置 Hadoop 环境变量 sudo vi /etc/profile ---------------------------------------------------------------- export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin ---------------------------------------------------------------- sudo source /etc/profile ##配置缓存配置与HDFS配置 cd /usr/local/hadoop vi ./etc/hadoop/core-site.xml ----------------------------------------------------------------- <configuration> <!-- 指定HADOOP运行时 产生文件目录 --> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <!-- 指定HDFS的服务调度 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ------------------------------------------------------------------ vi ./etc/hadoop/hdfs-site.xml ------------------------------------------------------------------ <configuration> <!-- 指定HDSF 保存数据副本的数据的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/tmp/dfs/data</value> </property> </configuration> ------------------------------------------------------------------ //配置完成后，执行NAMENODE格式化 ./bin/hdfs namenode -format > 成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。  ## 启动YARN (MapReduce) mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml vi ./etc/hadoop/mapred-site.xml.template ------------------------------------------------------------------ <configuration> <!-- 指定计算框架 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ------------------------------------------------------------------ vi ./yarn-site.xml <configuration> <!-- NodeManager 获取数据的方式 shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定 YARN的服务调度 --> <property> <name>yarn.resourcemanager.hostname</name> <value>192.168.31.30</value> </property> </configuration> ## 初始化 HDFS 的文件系统 ./bin/hdfs namenode -format ##启动HDFS Yarn ./sbin/start-dfs.sh //启动HDFS  ./sbin/start-yarn.sh //启动YARN  ##验证登录 http://192.168.31.30:50070 //查看HDFS   ./bin/hdfs dfs -mkdir -p /user/hadoop //创建用户的目录 （非必要） ./bin/hdfs dfs -mkdir input (在用户下面创建目录，根据当前登录的用户名)  http://192.168.31.30:8088 // 查询YARN