Ubuntu安装hadoop并做单机测试
消息来源:baojiabao.com 作者: 发布时间:2026-05-16
报价宝综合消息Ubuntu安装hadoop并做单机测试
1.配置jdk
见前文2. 下载解压hadoop
这里以2.7.7版本为例,将档案剪下到/usr/local里面并更改名字为hadoop方便后续配置3. 为hadoop配置jdk版本呢
设定hadoop目录下的env档案,hadoop/etc/hadoop-env.sh档案,注意这里的etc是在hadoop目录下的etc,大家注意命令执行的路径,在里面定义jdk目录,建议将hadoop_home和path也定义一下
4. 为hadoop设定环境变数
这里直接设定~/.bashrc,设定相关配置即可,HADOOP_HOME是我的hadoop档案路径,大家根据个人情况更改即可,最后的PATH因为我在bashrc里面同时配置了jdk、hadoop和hbase,所以如果有和我情况相同的小伙伴建议将PATH下在一起,像注释那样
5. 设定ip对映
配置hosts档案,为主机增加IP对映
6. 增加使用者并授权
一般我们测试的时候都会使用hadoop或者hduser一类的使用者,当测试的时候切换到对应使用者并进行操作,也可以使用其他使用者(主机使用者),但是记得对使用者进行授权,否则当后面操作的时候会因为不能访问档案而导致错误。
7. 单机测试
hadoop目录,建立input资料夹,复制几个档案当作输入资料来源(这里采用的是hadoop/etc/*.xml),然后执行haddop自带的关键字提取方法进行检验,将结果输出到output档案当中,__注意:__二次实验时需要事先删除output档案
8. 结果
执行完毕后目录下会出现output资料夹,检视里面的档案的内容即可
2020-01-11 22:51:00