Hadoop 简要安装(二)

初始环境 http://wangshisan.com/blog/install-hadoop-one.html

准备工作

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.4/

hadoop-2.6.4.tar.gz 编译版本

hadoop-2.6.4-src.tar.gz 源码版本

我个人不喜欢使用源码版本。所以直接使用编译版本,如果后期我们需要改变环境时。在使用源码版本。

解压文件

cd /vagrant  
tar zxvf ./hadoop-2.6.4.tar.gz          //解压hadoop
sudo mv ./hadoop-2.6.4 /usr/local/      //改变目录路径
cd /usr/local/                          //跳入目录
sudo mv ./hadoop-2.6.4 ./hadoop         //改变目录名称
sudo chmod -R hadoop:hadoop ./hadoop    //修改目录所属用户与组

测试

建立一个目录。随便放入一些文本文件。让hadoop 去进行检索。计算个数

cd /usr/local/hadoop
sudo mkdir ./input                   // 创建一个测试目录
sudo cp ./etc/hadoop/*.xml ./input   // 随便放入一些文件进入 让HADOOP进行检索
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*

PS:每次运行 hadoop 测试 都需要删除 output 目录。 hadoop 不会删除或者覆盖这个目录的。不然就报错的。

恭喜你单机版已安装完成了,下面来做伪分布式

设置 Hadoop 环境变量

sudo vi /etc/profile

----------------------------------------------------------------
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
----------------------------------------------------------------

sudo source /etc/profile

配置缓存配置与HDFS配置

cd /usr/local/hadoop
vi ./etc/hadoop/core-site.xml

-----------------------------------------------------------------
<configuration>
    <!-- 指定HADOOP运行时 产生文件目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <!-- 指定HDFS的服务调度 NameNode 的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
------------------------------------------------------------------

vi ./etc/hadoop/hdfs-site.xml

------------------------------------------------------------------
<configuration>
    <!-- 指定HDSF 保存数据副本的数据的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/tmp/dfs/data</value>
    </property>

</configuration>
------------------------------------------------------------------

//配置完成后,执行NAMENODE格式化
./bin/hdfs namenode -format 

成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。

Exitting with status 0 or 1

启动YARN (MapReduce)

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
vi ./etc/hadoop/mapred-site.xml.template
------------------------------------------------------------------
<configuration>
<!-- 指定计算框架 -->
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>
------------------------------------------------------------------

vi ./yarn-site.xml

<configuration>
<!-- NodeManager 获取数据的方式 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!-- 指定 YARN的服务调度 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>192.168.31.30</value>
    </property>
</configuration>

初始化 HDFS 的文件系统

./bin/hdfs namenode -format

启动HDFS Yarn

./sbin/start-dfs.sh     //启动HDFS

检查启动项目

./sbin/start-yarn.sh    //启动YARN

检查启动项目

验证登录

http://192.168.31.30:50070 //查看HDFS

查看存活的节点

查看存活的节点

./bin/hdfs dfs -mkdir -p /user/hadoop //创建用户的目录 (非必要)
./bin/hdfs dfs -mkdir input (在用户下面创建目录,根据当前登录的用户名)

查看已开放的目录

http://192.168.31.30:8088 // 查询YARN