在WSL中安装伪分布式Hadoop

WSL中安装伪分布式Hadoop

配置环境

Windows10中的Linux子系统（wsl2）,hadoop-3.3.1

参考文献地址:OpenEuler-Hadoop安装配置 | Angels-D

这个是真大佬，注意在下载的时候不要下错了东西，他是在华为的OpenEuler上进行的Hadoop配置。

配置JAVA环境变量

可以根据此命令和TAB键的补齐功能来查看当前apt下载库里面已有的openjdk版本,此处我安装的是openjdk-11-jdk（在Linux中我们一般使用openjdk,想要知道openjdk和jdk区别的同志可以去自己搜索一下）。

apt install openjdk-

jdk的默认安装位置在/usr/lib/jvm/路径中

接着需要配置一下 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置（想要了解各种添加变量的方法可以阅读扩展阅读中的博客，特别要注意的的是每个用户的 JAVA_HOME 环境变量并不相通 扩展阅读：设置Linux环境变量的方法和区别）

vim ~/.bashrc

在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

接着还需要让该环境变量生效，执行如下代码：

source ~/.bashrc    # 使变量设置生效

使用如下命令来测试设置是否正确，两者输出的

java -version
$JAVA_HOME/bin/java -version

Hadoop的安装和配置

基本步骤可以参考:OpenEuler-Hadoop安装配置 | Angels-D

1.我们只在这里讲述有修改的步骤:

对core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml修改时，我们把node1和node2都改为localhost即可。

2.由于为伪分布式节点，我们可以略过添加节点主机和添加Host映射步骤。

3.注意wsl中并无ssh组件，遇到问题时具体问题具体解决即可（由于出现的问题均不一样，在此便不再描述）。

附加

在进行完初始化操作后，我们可以在我们添加的环境变量路径下书写start-hadoop.sh和stop-hadoop.sh脚本文件，方便我们进行Hadoop的打开和关闭操作(此处只给出start-hadoop.sh中文件的内容，stop-hadoop.sh文件只需要将start文件中的start全部修改为stop即可)。

/opt/hadoop/sbin/start-dfs.sh
/opt/hadoop/sbin/start-yarn.sh
/opt/hadoop/bin/mapred --daemon start historyserver

在保存了文件后需要用该命令来赋予两个脚本文件相应的权限

chmod 777 start-hadoop.sh

当然我们还可以在它本身便存在的start-all.sh文件进行一些修改。

最后更新： 2022年01月13日 12:03

原始链接： https://fpgboy.github.io/2021/01/13/WSL%E4%B8%AD%E5%AE%89%E8%A3%85%E4%BC%AA%E5%88%86%E5%B8%83%E5%BC%8FHadoop/

fpgboy