MYSQL 安装过程 作者: 王十三 时间: 2018-01-03 分类: 安装过程 评论 本次需要安装MYSQL 关系型数据库。 主要是要支持JSON的数据格式。 > 参考文档: http://dev.mysql.com/doc/refman/5.7/en/linux-installation-yum-repo.html > 安装环境: Vagrant Centos 6.7 下载MYSQL 配置 # wget http://dev.mysql.com/get/mysql57-community-release-el6-7.noarch.rpm # yum localinstall ./mysql57-community-release-el6-7.noarch.rpm # yum install mysql-community-server 修改ROOT密码 MYSQL 5.7 密码验证非常严格。 > /etc/my.cnf [mysqld] 下面增加 > skip-grant-tables > > update mysql.user set authentication_string=password('123qwe') where user='root' and Host = 'localhost'; //修改密码 > > update mysql.user set Host='%' where user='root' //不限制外部连接 > > flush privileges; 还原 my.cnf 文件 关闭防火墙 > /etc/selinux/config > > SELINUX=disabled > > setenforce 0 //临时生效 MYSQL Error : 2013 > SQL Error (2013): Lost connection to MySQL server at 'waiting for initial communication packet', system error: 0 vi /etc/sysconfig/iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT service iptables restart 个人配置 # Firewall configuration written by system-config-firewall # Manual customization of this file is not recommended. *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -i eth0 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT -A FORWARD -m state --state ESTABLISHED,RELATED -j ACCEPT -A FORWARD -p icmp -j ACCEPT -A FORWARD -i lo -j ACCEPT -A FORWARD -i eth0 -j ACCEPT -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT
MYSQL 安装过程 作者: 王十三 时间: 2018-01-03 分类: 安装过程 评论 本次需要安装MYSQL 关系型数据库。 主要是要支持JSON的数据格式。 > 参考文档: http://dev.mysql.com/doc/refman/5.7/en/linux-installation-yum-repo.html > 安装环境: Vagrant Centos 6.7 下载MYSQL 配置 # wget http://dev.mysql.com/get/mysql57-community-release-el6-7.noarch.rpm # yum localinstall ./mysql57-community-release-el6-7.noarch.rpm # yum install mysql-community-server 修改ROOT密码 MYSQL 5.7 密码验证非常严格。 > /etc/my.cnf [mysqld] 下面增加 > skip-grant-tables > > update mysql.user set authentication_string=password('123qwe') where user='root' and Host = 'localhost'; //修改密码 > > update mysql.user set Host='%' where user='root' //不限制外部连接 > > flush privileges; 还原 my.cnf 文件 关闭防火墙 > /etc/selinux/config > > SELINUX=disabled > > setenforce 0 //临时生效 MYSQL Error : 2013 > SQL Error (2013): Lost connection to MySQL server at 'waiting for initial communication packet', system error: 0 vi /etc/sysconfig/iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT service iptables restart 个人配置 # Firewall configuration written by system-config-firewall # Manual customization of this file is not recommended. *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -i eth0 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT -A FORWARD -m state --state ESTABLISHED,RELATED -j ACCEPT -A FORWARD -p icmp -j ACCEPT -A FORWARD -i lo -j ACCEPT -A FORWARD -i eth0 -j ACCEPT -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT
Mongodb 安装过程 作者: 王十三 时间: 2017-06-01 分类: 安装过程 评论 本次需要安装MongODB 文档型数据库。 主要是要支持JSON的数据格式。 > 参考文档: https://docs.mongodb.org/master/tutorial/install-mongodb-on-red-hat/ > 安装环境: Vagrant Centos 6.7 首先配置 Centos 的repo [mongodb-org-3.2] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/ gpgcheck=0 enabled=1 确定安装 Mongodb 3.2.3 yum install -y mongodb-org-3.2.3 mongodb-org-server-3.2.3 mongodb-org-shell-3.2.3 mongodb-org-mongos-3.2.3 mongodb-org-tools-3.2.3 启动Mongodb /etc/init.d/mongodb restart 开放端口 iptables -A INPUT -p tcp -m state --state NEW -m tcp --dport 27017 -j ACCEPT 初始化用户 # mongo # use admin # db.createUser({user:'root',pwd:'root',roles:['readWrite','dbAdmin']}) 外部连接 > mongodb.conf > #bind_ip = 127.0.0.1 //注释此行
Hadoop 简要安装(三) 作者: 王十三 时间: 2017-05-01 分类: 安装过程 评论 > 初始环境 之前我们已经安装伪部署版本。 按照 之前的计划 我们还有两个节点服务器 36,37 服务器 192.168.31.36 , 192.168.31.37 ##环境准备 修改三台服务器名称 su vi /etc/sysconfig/network //192.168.31.30 ,Master //192.168.31.36 ,Slave36 //192.168.31.37 ,Slave37 映射IP su vi /etc/hosts ---------------------------------------- 192.168.31.30 Master 192.168.31.31 Job 192.168.31.36 Slave36 192.168.31.37 Slave37 ---------------------------------------- 复制 hadoop 到客户机上面。 // 192.168.31.36,192.168.31.37 cd /public_data/ //这个是我的虚拟机映射的目录,大家根据自己情况下载 cp -Rf ./hadoop/hadoop-2.6.4 /usr/local/hadoop SSH 登录 实现服务器之间的免登录 (30 免登录到 36 ,37) 方法一: // 192.168.31.30 su hadoop cp ~/.ssh/id_rsa.pub /public_data/hadoop/ // 192.168.31.36,192.168.31.37 su hadoop mkdir ~/.ssh/ cat /public_data/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys chmod 700 ~/.ssh/ 方法二: //192.168.31.30 su hadoop ssh-copy-id 192.168.31.36 ssh-copy-id 192.168.31.37 //注意如果发送密码完成后。依然不能登录。 chmod 700 ~/.ssh/ chmod 600 ~/.ssh/authorized_keys //权限不对也可能导致无法登录 ##配置服务器 192.168.31.30 由之前伪分布式 改成 正式 Master 不在负责存储 // 192.168.31.30 编辑 ./etc/hadoop/slaves 文件 slaves 文件是向 Master 说明有几个节点服务器 --------------------------------------------------------------- #文本 localhost #更变为 192.168.31.36 192.168.31.37 --------------------------------------------------------------- 然后关闭防火墙 (测试方便,关闭三个服务器防火墙) service iptables stop #配置节点服务器 192.168.31.36, 192.168.31.37 这两个服务器好配置。只需要将 Master( 192.168.31.30) 上的 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 复制过去就好了 //core-site.xml fs.defaultFS hdfs://192.168.31.30:9000 hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. //hdfs-site.xml dfs.namenode.secondary.http-address 192.168.31.30:50090 dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data // mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.address 192.168.31.30:10020 mapreduce.jobhistory.webapp.address 192.168.31.30:19888 //yarn-site.xml yarn.resourcemanager.hostname 192.168.31.30 yarn.nodemanager.aux-services mapreduce_shuffle ##启动 192.168.31.30 主服务器 /usr/local/hadoop/sbin/start-dfs.sh ![启动主服务器](/images/install-hadoop-3-img-1.png) 我们可以看到两个 36,37服务器 节点服务器已经启动成功了 访问 http://192.168.31.30:50070/dfshealth.html ![启动主服务器](/images/install-hadoop-3-img-2.png) ![启动主服务器](/images/install-hadoop-3-img-3.png) #启动YARN 8088 端口 /usr/local/hadoop/sbin/start-yarn.sh #启动 historyserver 服务 19888端口 /usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver ##测试上传 //创建用户名称 hdfs dfs -mkdir -p /user/hadoop //创建用户下的文件夹 hdfs dfs -mkdir box //上传到文件夹中 hdfs dfs -put ./vagrant-centos-6.7.box box ##问题记录 1.在启动Master(192.168.31.30)后,查看 Slave36(192.168.31.36) Slave37(192.168.31.37) 执行 JPS 名称 ![检查启动项目](/images/install-hadoop-3-img-4.png) 看下 DataNode 是否已经启动 2。NameNode 格式化前 最好将缓存全部请空掉。不然无法启动。每次格式化都会导致DHFS的磁盘UID变更。所以清空就好了。
Hadoop 简要安装(二) 作者: 王十三 时间: 2017-04-01 分类: 安装过程 评论 > 初始环境 http://wangshisan.com/blog/install-hadoop-one.html #准备工作 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.4/ hadoop-2.6.4.tar.gz 编译版本 hadoop-2.6.4-src.tar.gz 源码版本 我个人不喜欢使用源码版本。所以直接使用编译版本,如果后期我们需要改变环境时。在使用源码版本。 ##解压文件 cd /vagrant tar zxvf ./hadoop-2.6.4.tar.gz //解压hadoop sudo mv ./hadoop-2.6.4 /usr/local/ //改变目录路径 cd /usr/local/ //跳入目录 sudo mv ./hadoop-2.6.4 ./hadoop //改变目录名称 sudo chmod -R hadoop:hadoop ./hadoop //修改目录所属用户与组 ##测试 建立一个目录。随便放入一些文本文件。让hadoop 去进行检索。计算个数 cd /usr/local/hadoop sudo mkdir ./input // 创建一个测试目录 sudo cp ./etc/hadoop/*.xml ./input // 随便放入一些文件进入 让HADOOP进行检索 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep ./input ./output 'dfs[a-z.]+' cat ./output/* PS:每次运行 hadoop 测试 都需要删除 output 目录。 hadoop 不会删除或者覆盖这个目录的。不然就报错的。 ##恭喜你单机版已安装完成了,下面来做伪分布式 ##设置 Hadoop 环境变量 sudo vi /etc/profile ---------------------------------------------------------------- export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin ---------------------------------------------------------------- sudo source /etc/profile ##配置缓存配置与HDFS配置 cd /usr/local/hadoop vi ./etc/hadoop/core-site.xml ----------------------------------------------------------------- hadoop.tmp.dir file:/home/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000 ------------------------------------------------------------------ vi ./etc/hadoop/hdfs-site.xml ------------------------------------------------------------------ dfs.replication 1 dfs.namenode.name.dir file:/home/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/home/hadoop/tmp/dfs/data ------------------------------------------------------------------ //配置完成后,执行NAMENODE格式化 ./bin/hdfs namenode -format > 成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。 ![Exitting with status 0 or 1 ](/images/install-hadoop-two-img-1.png) ## 启动YARN (MapReduce) mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml vi ./etc/hadoop/mapred-site.xml.template ------------------------------------------------------------------ mapreduce.framework.name yarn ------------------------------------------------------------------ vi ./yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname 192.168.31.30 ## 初始化 HDFS 的文件系统 ./bin/hdfs namenode -format ##启动HDFS Yarn ./sbin/start-dfs.sh //启动HDFS ![检查启动项目](/images/install-hadoop-two-img-2.png) ./sbin/start-yarn.sh //启动YARN ![检查启动项目](/images/install-hadoop-two-img-3.png) ##验证登录 http://192.168.31.30:50070 //查看HDFS ![查看存活的节点](/images/install-hadoop-two-img-4.png) ![查看存活的节点](/images/install-hadoop-two-img-5.png) ./bin/hdfs dfs -mkdir -p /user/hadoop //创建用户的目录 (非必要) ./bin/hdfs dfs -mkdir input (在用户下面创建目录,根据当前登录的用户名) ![查看已开放的目录](/images/install-hadoop-two-img-6.png) http://192.168.31.30:8088 // 查询YARN