ubuntu20搭建windows,Ubuntu20.04下搭建Hadoop伪分布式集群__小许

Ubuntu虚拟机的安装

VW ware安装Ubuntu虚拟机及环境配置

关闭防火墙

为了减少搭建集群的复杂性,关闭防火墙如果对防火墙很了解可以可以不用关闭开放相应端口即可。借助ufw软件包使操作更方便。

# 安装防火墙工具sudo apt-get install ufw# 开启sudo ufw enablesudo ufw default deny# 开启了防火墙并随系统启动同时关闭所有外部对本机的访问(本机访问外部正常)# 关闭sudo ufw disable # 查看状态sudo ufw status# 开放端口sudo ufw allow 80 允许外部访问80端口sudo ufw delete allow 80 禁止外部访问80 端口sudo ufw allow from 192.168.1.1 允许此IP访问所有的本机端口sudo ufw deny smtp 禁止外部访问smtp服务sudo ufw delete allow smtp 删除上面建立的某条规则sudo ufw deny proto tcp from 10.0.0.0/8 to 192.168.0.1 port 22 要拒绝所有的TCP流量从10.0.0.0/8 到192.168.0.1地址的22端口

使防火墙处于关闭状态即可: 在这里插入图片描述

安装SSH

https://blog.csdn.net/xwh3165037789/article/details/123468111

安装jdk

https://blog.csdn.net/xwh3165037789/article/details/123468111

设置静态ip

https://blog.csdn.net/xwh3165037789/article/details/126306878

配置主机名

https://blog.csdn.net/xwh3165037789/article/details/126306878

映射ip地址与主机名

将ip地址与主机名映射的作用是使用主机名即可完成集群间的切换。

vi /etc/hosts

在这里插入图片描述 添加配置的静态ip和主机名即可。

ssh免密登录

ssh简介

在这里插入图片描述

在这里插入图片描述

完成主机ip映射之后使用密码实现主机间的切换:ssh root@[主机映射名称]

在这里插入图片描述 输入yes后会让你输入密码: 在这里插入图片描述 成功切换过去 在这里插入图片描述

此时是需要密码的,每次输入密码是很不方便的,也不能实现集群的自动化,接下来需要配置ssh免密登录。

在root用户下输入ssh-keygen -t rsa 三次回车 在这里插入图片描述

切换到秘钥目录cd ~/.ssh 在这里插入图片描述 将公钥id_rsa.pub复制到本机上cp id_rsa.pub authorized_keys 在这里插入图片描述

ssh连接远程主机的命令是ssh user@hostname==ssh [用户名][主机名]==根据上面主机映射的关系

在这里插入图片描述 共有三台主机和一个用户,用户是xwh,主机分别是master,xwh,localhost。就可以使用ssh user@hostname,经过免密登录的配置,现在切换已经不需要密码了。

在这里插入图片描述

完全分布式和伪分布式的主要却别也在此。

user@hostname Hadoop的下载与安装

下载参考

创建hadoop文件夹并上传hadoop文件,并解压到当前目录:

tar -zxvf hadoop-2.10.1

在这里插入图片描述 因为下载的源码,要全局使用需要配置环境变量,环境变量的配置文件在/etc/profile

sudo vi /etc/profile

在这里插入图片描述

export HADOOP_HOME=/home/xwh/hadoop/hadoop-2.10.1export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH:$HOME/bin

如果是自己配置的jdk则java_home换为自己的路径即可,如果是安装的openjdk则其位置在:/usr/lib/jvm目录下:

在这里插入图片描述

配置完成后重启环境变量source /etc/profile,在使用hadoop命令检验是否配置成功,出现如下图所示即配置成功:

在这里插入图片描述

hadoop配置

hadoop-env.sh文件的配置:

配置文件所在目录,在解压的hadoop目录下:hadoop/hadoop-2.10.1/etc/hadoop

在这里插入图片描述

进入该目录如图所示: 在这里插入图片描述

将jdk路径配置在图上的JAVA_HOME处,只配置要jdk安装目录即可,不用到bin目录:

在这里插入图片描述

core-site.xml文件配置

在这里插入图片描述 配置如下: 在这里插入图片描述

fs.defaultFShdfs://localhost:9000hadoop.tmp.dir/home/xwh/hadoop/hadoop-2.10.1/tmp

hdfs-site.xml文件配置

在这里插入图片描述 在这里插入图片描述

dfs.replication1

mapred-site.xml文件配置

目录下是没有该文件的只有一个模板,将mapred-site.xml.template复制一份改名即可。 在这里插入图片描述 复制命令cp mapred-site.xml.template mapred-site.xml 在这里插入图片描述

在这里插入图片描述

该步骤可省略

yarn-site.xml文件配置 在这里插入图片描述

yarn.nodemanager.aux-servicesmapreduce_shuffle yarn.resourcemanager.addressbigdata:8032

上面的配置根据自己实际修改

格式化分布式文件系统HDFS

该文件系统岁hadoop自动下载的的,格式化命令:hdfs namenode -format。只能格式化一次,若第一未成功需要删除上面配置的tmp目录重新格式化。

在这里插入图片描述 在这里插入图片描述

**启动集群start-dfs.sh**中途要输入一个yes:

在这里插入图片描述

namenode节点后台管理地址ip+端口号[50070/50090]

http://192.168.131.131:50070/

在这里插入图片描述

http://192.168.131.131:50090/

在这里插入图片描述

由于小编安装的openjsk没有jps命令,需要另外安装工具包sudo apt-get install java-1.7.0-openjdk-devel -y

如果出现错误就更新jdk版本sudo apt-get install openjdk-8-jdk就可以使用jstack,jps等调试命令了。

在这里插入图片描述 存在namenode和dataname说明配置成功。

使用stop-dfs.sh停止集群:

在这里插入图片描述

yarn作为集群的管理者,启动yarn的命令为:start-yarn.sh:

在这里插入图片描述 也可以输入ip+[yarn端口号]进入yarn管理中心,这是在之前yarn-site.xml配置的 在这里插入图片描述

当全部启动是使用jps调试命令:

在这里插入图片描述

需要注意的是在关闭集群是要依次关闭yarn,hadoop。stop-yarn.sh,stop-dfs.sh

在这里插入图片描述

从零开始安装搭建win10与ubuntu20.04双系统开发环境 ...Windows10/11 三步安装wsl2 Ubuntu20.04(任意盘) - 知乎终极避坑指南 - Ubuntu20.04搭建mmdetection深 …2020最新版VMware安装Ubuntu20.04教程(巨细)! …ESP-IDF windows+wsl1+vscode开发环境搭建 - 哔哩哔哩Windows11使用WSL Ubuntu搭建paddle的GPU环境 ...在Ubuntu20.04环境中构建C++20开发环境(GCC11) - 腾讯 ...Ubuntu20.04下搭建Hadoop伪分布式集群__小许_的博客 ...Linux搭建samba文件共享服务器,实现基于Linux和Windows ...Ubuntu系统搭建FreeRadius认证系统测802.1X wifi 环境嵌入式环境搭建-WindowsUbuntu与嵌入式设备之间的文件共享-文件可读可写【学习笔记】Ubuntu双系统+搭建个人服务器Ubuntu搭建嵌入式Linux开发环境_嵌入式开发环境主要包括哪些组件Ubuntu使用nginx搭建webdav文件服务器Ubuntu 11.04 搭建Android开发环境如何实现开发板、windowsPC端、ubuntu系统三网ping通.docxubuntu搭建ngrok服务器Ubuntu18.04系统下minikube及配套环境搭建【保质保量】Windows上安装Ubuntu子系统用于练习linux基本命令UbuntuUbuntu搭建本地源,做离线安装win10子系统wsl Ubuntu 搭建golang 开发环境搭建MPI并行计算环境并计算pi值[windowsUbuntu]ubuntu环境下搭建单机版swarmWindows10搭建Docker环境(ubuntu+docker for windows)Ubuntu上如何搭建samba服务器windowsUbuntu双系统,以及Ubuntu深度学习环境的安装Ubuntu20安装详细步骤,用于嵌入式开发Ubuntu搭建git服务器Ubuntu安装FTP 服务, 实现和Windows的文件互传Ubuntu16.04搭建hadoop伪分布式环境搭建Windows 7与Fedora 14的双系统环境.docxUbuntu 20 kubernetes集群 安装配置_2022年02月10日最新可用Ubuntu 用bind9搭建DNS服务器ubuntu常用的服务器搭建windows10和ubuntu两种环境搭建YOLOX环境配置,并训练VOC数据集ubuntu搭建ftp服务器-按部就班就好 (躺坑后亲测成功)ubuntu20.04 深度学习环境搭建Ubuntu16.04 搭建svn
windows10安装ubuntu20windows 安装ubuntu20win10 安装ubuntu20windows ubuntu20.04双系统windows10 ubuntu 20.04ubuntu20.04子系统windows安装ubuntu 20.04ubuntu 20.04 windowsUbuntu20搭建pptp脚本Ubuntu20搭建pptpubuntu20 安装ubuntu2020安装教程ubuntu20使用教程ubuntu20.0安装教程安装ubuntu20.04教程ubuntu20安装软件ubuntu20.4安装教程ubuntu20.04安装教程网站删了怎么找回来写毛笔字手抖哔哩哔哩下载工具flutter1.6.0revit栏杆扶手底部填充怎么设置什么条件不能接种新冠疫苗申请霸气符咒图片亲近数学教案win10打印机驱动程序在哪里认真的拼音怎么拼什么是真什么是假的句子银杏的叶脉类型为