hadoop伪分散式环境搭建
1，准备
jdk1.7或者1.8 hadoop2.6 对应tar包
hadoop 执行需要java编写 执行需要jdk
rz 命令可以选择 对应的档案上传到linux
tar -zxvf ****.tar.gz 解压缩对应的tar 档案
2，配置java环境
java -version 检视java版本
将jdk的tar包 解压到自己定义的目录 ~/app/jdk1.7
pwd 检视 当前目录
配置java的环境变数
这里有两个档案可以配置 ~/.bash_profile 和 /etc/profile 这两个档案配置哪里都可以
● vi ~/.bash_profile //超级使用者所有 hadoop环境要配置在这里面
● vi /etc/profile //独立使用者所有
在上述两个档案其中任意一个加入以下配置
export JAVA_HOME=/root/app/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
生效环境变数
source /etc/profile
再次检视 java -version
3,配置hadoop环境
cd ~/app
在app档案下生成hadoop目录
mkdir hadoop
rz 将hadoop的tar包上传到 hadoop目录下
解压tar
tar -zxvf ***hadoop.26.tar.gz
增加hadoop的ssh免密登入
生成无密码公钥
ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa
追加公钥到authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh登入
ssh locahhost
ssh Master
修改主机名
vi /etc/hostname
Master
:x 或 :wq! 储存退出
指定ip
vi /etc/hosts
192.168.149.183 Master
建立三个hadoop 需要用到的三个相关资料夹
●mkdir /usr/local/hadoop/tmp
●mkdir -p /usr/local/hadoop/hdfs/name //-p 强制地柜建立资料夹
●mkdir /usr/local/hadoop/hdfs/data
配置hadoop环境变数
vi ~/.bash_profile //超级使用者所有
HADOOP_HOME=/root/app/hadoop-2.6.4
PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME PATH
:wq! 退出报错
生效环境变数
source ~/.bash_profile
4,修改hadoop的配置档案
进入到
cd /root/app/hadoop-2.6.4/etc/hadoop
修改hadoop-env.sh 档案
vi hadoop-env.sh
修改jdk 配置
export JAVA_HOME=/root/app/jdk1.7.0_80
修改yarn-env.sh
vi yarn-env.sh
修改jdk 配置
export JAVA_HOME=/root/app/jdk1.7.0_80
修改核心配置档案 core-site.xml
vi core-site.xml
在configuration中增加如下引数
fs.defaultFS
hdfs://MASTER:9000
hadoop.tmp.dir
/usr/local/hadoop/tmp//如果不存在会自动建立
修改hadoop底层储存 hdfs-site.xml
vi hdfs-site.xml
在configuration中增加如下引数
dfs.namenode.name.dir
file://usr/local/hadoop/hdfs/name//源资料
dfs.datanode.data.dir
file://usr/local/hadoop/hdfs/data//datanode物理储存位置
dfs.replication//副本数
1//hadoop 预设副本数是3 javaApi 呼叫此设定不起作用
修改mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在configuration中增加如下引数--指定mr要使用的框架 这里用yarn
mapreduce.framwork.name
yarn
修改yarn-site.xml
vi yarn-site.xml
在configuration中增加如下引数
yarn.nodemanager.aux-services
mapreduce_shuffle
5,格式化namenode --只需格式化一次 修改配置需要再次格式化
./hdfs namenode -format
// hadoop fs namenode -format
启动
./start-all.sh
chomd +x ./*.sh 增加指令码执行许可权
6,检视
jps //一下节点
dataNode
ResourceManager
NameNode
NadeManager
SecondaryNameNode
http://192.168.149.183:50070 //hadoop
http://192.168.149.183:8088 //yarn
注意防火墙
检视状态
firewall-cmd --state --running
关闭防火墙
systemctl stop firewalld.service
hdfs
yarn
