欢迎光临
基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录)
   

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录)

目录

前言

一.JDK的下载安装配置

1.JDK 下载

2.JDK 安装

3.JDK 环境变量配置

4.验证JDK安装是否成功

5.重点?

二.Hadoop部署以及工具集winutils

1.下载Hadoop解压/下载winutils以及"安装"

        下载Hadoop和winutils

        "安装"winutils

2.配置Hadoop环境变量/配置Hadoop文件

Hadoop配置环境变量

 hadoop-env.cmd

core-site.xml

创建data文件夹以及datanode和namenode

hdfs-site.xml

初始化namenode

启动hadopp

打开WEB管理页面

3.Hadoop部署过程的重点?

总结


前言

如题这是一个我个人的学习记录,学习目标就是Hadoop的伪分布模式的部署,所以在Hadoop,JDK等等背景不做过多介绍,直接开始部署吧.

一.JDK的下载安装配置

1.JDK 下载

下载地址:Java Archive Downloads - Java SE 8u211 and later

页面下滑找到对应自己电脑系统和版本的 JDK 源文件,我下载的是Windows系统64位版本

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第1张基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第2张

2.JDK 安装

小tips: 像这样开发环境还有python杂七杂八的环境,能就尽可能放在自定义目录当中,易于管理(但这里我的话就选择直接默认安装了,毕竟不怎么用管啥哈哈哈)

直接双击打开就行:

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第3张

"欢迎仪式",点击下一步:

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第4张

再下一步:

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第5张

"状态"满了之后会回空静止,会弹出一个新的窗口:

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第6张

这个是安装 JAVA 的路径,刚才安装的是 JDK 同样有需要可以更改路径,确认好路径就可以下一步了::

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第7张

很快啊,啪的一下就完成了:

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第8张

同时这个也会成功

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第9张

可以去安装路径看一眼good(路径待会得用到可以留着窗口复制)基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第10张

3.JDK 环境变量配置

我个人会使用Win+R 输入,感觉比较方便

sysdm.cpl

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第11张

点击高级就可以看到环境变量了

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第12张基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第13张

在系统变量中新建:

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第14张

新建一个变量名位 JAVA_HOME ,变量值为刚才安装 jdk的安装路径,如果路径跟我一样也可以直接复制:

C:\Program Files\Java\jdk-1.8

设置完点击确认:

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第15张

找到系统变量里的Path点进去基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第16张

新建两个环境变量,因为学习过程中发现网络上很多出现因为只设置" \bin "路径导致的某些错误,我索性就直接两个都设置了

%JAVA_HOME%\jre\bin
%JAVA_HOME%\bin

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第17张基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第18张

也可以绝对路径配置环境变量像这样

4.验证JDK安装是否成功

最简单的验证方法,尝试获取版本:

Win + R  --> cmd 基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第19张

输入:

java -version

如果如图显示了你所下载版本的版本号,说明JDK安装成功!

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第20张

5.重点?

!!!一定要确定环境变量路径正确,这是在这个环节我目前能总结的唯一问题!!!

二.Hadoop部署以及工具集winutils

1.下载Hadoop解压/下载winutils以及"安装"

        下载Hadoop和winutils

Hadoop下载地址:Index of /dist/hadoop/common/hadoop-3.2.0 (apache.org)

winutils  下载地址:cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows (github.com)

可以根据你需要的版本进行下载我这里选择的是3.2.0版本

!!!Hadoop版本和winutils版本一定要相同!!!

 Hadoop下载" hadoop-3.2.0.tar.gz "

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第21张 

下载winutils,点击"  code" -->download zip(下载压缩包),为什么不之下3.2.0的winutils,原因是......我不知道怎么在GitHub上单独下载一个文件夹,乐.(但是winutils所有版本加起来也没多大,问题不大)基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第22张

下载完成:

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第23张

我有360压缩可行所以我就直接用360解压了

也可以无需任何软件解压:

Win + R --> cmd --> 输入" G: " 再输入你的Hadoop压缩包的位置 (注意是你自己电脑的压缩包位置),如图划线部位,说明你已经进入了压缩包的位置,再输入

# tar -zxvf 你下载的版本的压缩包全称包括后缀名,如果你的位置只有这个压缩包  Tab键可以直接补全
tar -zxvf hadoop-3.2.0.tar.gz

 等待解压:基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第24张基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第25张

解压出hadoop-3.2.0文件夹如下图:

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第26张

        

        "安装"winutils

 打开压缩包找到对应版本bin全部放到hadoop\bin里建议先将winutils压缩包里的bin解压出来再复制粘贴,因为我发现从360解压拖到Hadoop的bin无法全部成功替换,如第二张替换解说图

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第27张

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第28张

先解压出来再复制粘贴到 hadoop-3.2.0文件夹下的 bin

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第29张

这样就算是" 安装"好了.

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第30张

2.配置Hadoop环境变量/配置Hadoop文件

Hadoop配置环境变量

如JAVA_HOME一样,不做赘述

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第31张

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第32张

 hadoop-env.cmd

还有一个重要的点,进入 hadoop-3.2.0 的 etc再进入hadoop 文件夹 找到hadoop-env.cmd,右键在记事本中编辑基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第33张基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第34张

将%JAVA_HOME%更改为JDK 的绝对路径 (路径中不能存在空格) 我的路径在" C:\Program Files\Java\jdk-1.8 "所以更改为如下," PROGRA~1 " 和 " Program Files "是一样的等价替换的.

C:\PROGRA~1\Java\jdk-1.8

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第35张

修改完这个路径以及环境变量后,尝试获取版本号.

hadoop version

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第36张

        接下来还需要配置核心文件 core-site.xml 和 hdfs-site.xml

core-site.xml

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第37张

同样以右键笔记本中编辑,配置内容可以直接覆盖使用


    
        fs.defaultFS
        hdfs://localhost:9000
    

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第38张

创建data文件夹以及datanode和namenode

在hadoop-3.2.0目录下新建data文件夹,然后在data目录下再新建datanode和namenode文件夹

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第39张

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第40张

hdfs-site.xml

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第41张

 这里的路径一定要和你自己namenode和datanode路径相同且在盘路径前也需要'/'


    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        /G:/Hadoop/hadoop-3.2.0/data/namenode这里的路径
一定要和你自己namenode路径相同且在盘路径前也需要'/'
    
    
        dfs.datanode.data.dir
        /G:/Hadoop/hadoop-3.2.0/data/datanode这里的路径
一定要和你自己datanode路径相同且在盘路径前也需要'/'
    

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第42张

初始化namenode

先打开hadoop-3.2.0/bin文件夹在路径栏直接输入cmd,也可以直接在当前目录打开命令提示符(cmd)基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第43张基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第44张

输入:

hdfs namenode -format

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第45张

显示了如图信息说明初始化成功:

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第46张

启动hadopp

命令提示符(cmd)窗口进入hadoop-3.2.0目录下的 sbin (记得是sbin文件夹一开始我傻子以为教程写错了进了bin......) 也可以直接在sbin目录的路径栏cmd在当前位置打开cmd

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第47张基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第48张

输入并回车启动服务:

start-dfs.cmd

 这时会弹出两个命令提示符窗口,千万不要关闭,且就我的经验来说,如果两个弹出窗口都没有回到可输入状态,如图,说明服务已经启动成功!

 不要管这两个窗口在最开始输入start-dfs.cmd的窗口输入" jps " 检查启动的服务基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第49张

 输入jps 如果出现以下进程说明Hadoop启动成功

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第50张

打开WEB管理页面

成功后可以打开WEB管理页面查看Hadoop的状态以及操作,启动服务后不要关闭命令提示符窗口,在浏览器中打开如下网址即是Hadoop的网页管理界面

http://localhost:9870

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第51张

在这里可以进行文件的相关操作了 基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录),第52张

3.Hadoop部署过程的重点?

确保操作中的路径正确

winutils版本要和Hadoop匹配

Java环境变量配置正确

总结

以上就是我一次又一次配置失败,一次又一次不甘心,一次次尝试最后成功的学习笔记,回想起来有些操作失误真的挺傻的,真可恶啊,有些教程讲的不明白导致我没看明白(好吧是我基础不够没能理解),我现在作为傻瓜来设计了这么一个直达式教程希望对你有用.goodgood,接下来要尝试创建虚拟机来部署Hadoop,要是可以的话还会再出.See U

 
 步客网  烟草长什么样子图片  曹操伴奏  读书名言警句  平菇  苗木买卖网 
打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录)》
文章链接:https://goodmancom.com/wl/175948.html