Hadoop单机版本安装

​

不关闭防火墙，本地无法访问hadoop相关的UI界面。

关闭防火墙

systemctl stop firewalld.service

确认防火墙状态

systemctl status firewalld.service

• 安装ntp软件

yum install -y ntp

• 添加阿里时间同步服务器

# 第一步 vim /etc/ntp.conf # 在文件中加入阿里时间同步服务器 server ntp.aliyun.com iburst

• 启动ntp服务

service ntpd start

• 设置开机启动

chkconfig ntpd on免密登录

# 执行以下命令，动态生成.ssh 目录 ssh localhost # 生成免密登录数字签名 ssh-keygen -t dsa -P '' # 把生成的 id_dsa.pub 文件内容追加到 authorized_keys 中 cat id_dsa.pub >> authorized_keys # authorized_keys 授权600，不然ssh node01 还是需要输入密码 chmod 600 authorized_keys

• 下载JDK安装包，当前选择JDK版本为1.8

下载地址：https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html

选择RPM包，下载到本地

• 上传下载的rpm包到服务器

• 安装软件

[root@node01 ~]# rpm -i jdk-8u351-linux-x64.rpm

安装成功后，如果可以看到/usr/java，并且能看到如下图显示的内容，表示安装成功

注：有些软件默认配置的JDK目录为/usr/java/default，如果以解压的方式安装JDK，这几个目录需要手动创建软链接，所以建议使用rpm的方式安装JDK，

• 配置环境变量

# 打开 /etc/profile 文件 vim /etc/profile # 添加以下两行内容 export JAVA_HOME=/usr/java/default export PATH=$PATH:%JAVA_HOME/bin # 让配置文件生效 source /etc/profile

• 验证jdk是否安装成功，输入下面的命令，如果出现下图所示内容表示安装成功

java -version

• 下载Hadoop安装包，当前选择版本为3.3.4

下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

• 上传到服务器

• 解压软件包

tar -xvf hadoop-3.3.4.tar.gz

• 把解压的文件放到合适的位置

# 创建目录 mkdir /opt/bigdata #移动加压的文件夹到创建的目录 mv hadoop-3.3.4/ /opt/bigdata/

• 添加环境变量

# 打开 /etc/profile 文件 vim /etc/profile # 添加以下两行内容 export HADOOP_HOME=/opt/bigdata/hadoop-3.3.4 export PATH=$PATH:%JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # 让配置文件生效 source /etc/profile

• 添加Hadoop核心配置

hadoop-env.sh

# 打开hadoop-en.sh文件 vim /opt/bigdata/hadoop-3.3.4/etc/hadoop/hadoop-env.sh # 添加JAVA_HOME配置 export JAVA_HOME=/usr/java/default

详细配置如下：

core-site.xml

# 打开core-site.xml文件 vim /opt/bigdata/hadoop-3.3.4/etc/hadoop/core-site.xml

添加如下配置:

<!--配置NameNode服务启动的节点 --> <property> <name>fs.defaultFS</name> <value>hdfs://node01:9000</value> </property>

详细配置如下：

hdfs-site.xml

# 打开hdfs-site.xml 文件 vim /opt/bigdata/hadoop-3.3.4/etc/hadoop/hdfs-site.xml

添加如下配置：

<!-- HDFS副本数 --> <property> <name>dfs.replication</name> <value>1</value> </property> <!-- NameNode日志文件目录 --> <property> <name>dfs.namenode.name.dir</name> <value>/var/bigdata/hadoop/local/dfs/name</value> </property> <!-- DataNode日志文件目录 --> <property> <name>dfs.datanode.data.dir</name> <value>/var/bigdata/hadoop/local/dfs/data</value> </property> <!-- secondaryNode启动服务的节点 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>node01:9868</value> </property> <!--secondaryNode日志文件目录 --> <property> <name>dfs.namenode.checkpoint.dir</name> <value>/var/bigdata/hadoop/local/dfs/secondary</value> </property>

详细配置如下：

workers

# 打开workers文件 vim /opt/bigdata/hadoop-3.3.4/etc/hadoop/workers # 修改内容为node01 node01

老版本的Hadoop配置文件为slaves。

当前的配置为DataNode服务启动的节点，因为我们当前是单机版本，所以只需要配置node01就行了。

完整的配置如下：

• 初始化HDFS

# 初始化HDFS，会创建NameNode需要的目录，并创建空的fsimage hdfs namenode -format

cd 到我们的配置的目录，可看到如下目录：

• 启动服务

当前版本默认不推荐使用root用户直接启动服务，需要把需要的目录切换归属为hadoop，并使用hadoop用户启动服务。

start-dfs.sh

启动成功后，会在/var/bigdata/hadoop/local/dfs看到如下目录：

• 修改windows的hosts文件

# 新增配置 192.168.17.101 node01

• 登录HDFS控制台

浏览器浏览：http://node01:9870/

注意：老版本访问的端口号为50070，3.x以后改为9870。

• 创建目录

hdfs dfs -mkdir /bigdata

• 本地创建一个文件，并上传

# 创建文件 echo "hello hadoop" >> hadoop.txt # 上传文件 hdfs dfs -put hadoop.txt /bigdata

1、ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. ERROR: Attempting to operate on hdfs datanode as root ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation. ERROR: Attempting to operate on hdfs secondarynamenode as root ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

当前版本Hadoop默认不允许root用户启动服务，最简单的解决方案：把需要的使用的Hadoop目录的归属改为hadoop

# 修改软件安装的目录归属 chown -R hadoop /opt/bigdata/hadoop-3.3.4/ # 修改日志和数据目录归属 chown -R hadoop /var/bigdata

2、Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)

当前Hadoop配置文件中配置服务启动节点都是node01,启动脚本中有需要ssh 到对应的节点启动服务，所有必须要提前配置好免密登录，解决方案在安装步骤中。