1、三台服务器或三台以上服务器的ip与hostname对应关系如下
192.168.122.111 Node1
192.168.122.112 node2
192.168.122.113 node3
2、在每台服务器的/etc/hosts里面配置三台服务器的hostname与Ip的关系，以便后面能够通过hostname直接访问
node1
node2
node3
3、配置ssh免密码登录
3.1、每个虚拟机服务器都执行以下的命令
ssh-keygen -t rsa
node1
node2
node3
3.2、把node1的秘钥发给node2 node3
node1发给ndoe2
在node1里面 ssh node2，如果能够登录成功，说明node1--->node2免密成功
node1免密登录node2
ssh-copy-id node3
node1转发node3
尝试node1免密node3
ssh node3
node1成功免密node3
重复操作在node2上 把node2的秘钥发给Node1 node3
node2免密登录node1
node2免密登录Node3
node2-->node3
重复操作在node3上 把node3的秘钥发给node1 node2
ssh-copy-id node1
ssh node1 进入node1中了
ssh-copy-id node2
node3免密登录node2
开始配置
1、在node1服务器上创建一个分享文件的脚本
mkdir /home/用户/bin
cd bin
mkdir /home/jdrea/bin
创建一个文件
这里的for host in node1 node2 node3改成你自己的服务器主机名
vi xsync
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in node1 node2 node3
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
赋予文件权限
chmod 777 xsync
让xsync可以全局使用
sudo cp xsync /bin/
测试是否能够实现三台机器都同步某目录西下的文件以及文件夹
xsync /home/jdrea/bin
现在看看node2 node3服务器的这个目录下的是否有这样的文件夹和文件
安装jdk,配置jdk环境变量
这里省略，因为很简单
1、我下载了hadoop-3.3.0.tar.gz
tar -xvf hadoop-3.3.0.tar.g
进入解压文件夹里面
cd hadoop-3.3.0/
cd etc/HADOOP/2.1、编辑core-site.xml文件
原始的
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/jdrea/hadoop-3.3.0/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 andy -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>jdrea</value>
</property>
保存退出
这里的node1是服务器Hostname
这里的存储目录，你得看看是否存在，不存在则创建
jdrea是我主机用户
vi hdfs-site.xml
<configuration>
<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>node1:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node3:9868</value>
</property>
</configuration> 2.3 编辑Yarn-site.xml
<!-- Site specific YARN configuration properties -->
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>MapReduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node2</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>java_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://node1:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2.4、编辑 mapred-site.xml
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>node1:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node1:19888</value>
</property>
</configuration>
2.5、把这些转发到其他服务器上
xsync /home/jdrea/hadoop-3.3.0
查看ndoe2 node3里面的文件是否也是同步的
2.6、编辑workersnode1
node2
node32.7、分发wokers文件
xsync /home/jdrea/hadoop-3.3.0/etc/hadoop/workers
node1初始化就够了
cd /home/jdrea/hadoop-3.3.0
bin/hdfs namenode -format
若后面集群运行出了问题，需要把node1服务器下hadoop-3.3.0下的data和logs删除
sbin/start-dfs.sh
解决方案，3.2.1、在hadoop-3.3.0/etc/hadoop/hadoop-env.sh里面配置java
3.2.2、删除node1服务器的data和logs
3.2.3 同步到其他服务器中
xsync ~/hadoop-3.3.0/etc/hadoop/hadoop-env.sh
3.2.4、重新初始化node1服务器
bin/hdfs namenode -format
4、在node2上启动
sbin/start-yarn.sh
sbin/start-dfs.sh
vi /home/jdrea/bin/myhadoop.sh
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop 集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh node1 "/home/jdrea/hadoop-3.3.0/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh node2 "/home/jdrea/hadoop-3.3.0/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh node1 "/home/jdrea/hadoop-3.3.0/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop 集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh node1 "/home/jdrea/hadoop-3.3.0/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh node2 "/home/jdrea/hadoop-3.3.0/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh node1 "/home/jdrea/hadoop-3.3.0/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac
赋予权限
chmod 777 /home/jdrea/bin/myhadoop.sh
sudo cp /home/jdrea/bin/myhadoop.sh /bin/
启动使用 myhadoop.sh start
停止使用 myhadoop.sh stop
