欢迎光临
ubuntu中Hadoop伪分布安装
   

ubuntu中Hadoop伪分布安装

目录

1. 更新apt和安装VIm编辑器

2. 安装SSH

3. 查看IP

4. 安装Java环境

5. Hadoop伪分布安装


Hadoop伪分布安装。主要参考《大数据技术原理与应用》第三版。

1. 更新apt和安装VIm编辑器

命令如下:

sudo apt-get update

提示输入密码,完成密码输入即可自动更新

可以使用Vim编辑器完成文件创建与修改,安装Vim命令如下:

sudo apt-get install vim

安装过程提示Do you want to continue? [Y/n],输入y,回车即可继续(其他安装遇到相同问题也是如此)

2. 安装SSH

hadoop的NameNode需要启动集群所有机器的hadoop守护进程,主要通过SSH登录实现。为顺利从主节点无密码地登录从节点每台机器,需要安装SSH服务器和客户端。Ubuntu已安装SSH客户端,先只需安装SSH服务端即可,命令如下:

sudo apt-get install openssh-server

安装完成后,可以通过下面命令登录本机

ssh localhost  

出现Are you sure you want to continue connecting (yes/no/[fingerprint])?  

输入  yes  后回车,然后输入密码即可。

退出ssh登录,生成密钥并加入授权。

退出    exit

ubuntu中Hadoop伪分布安装,第1张

进入 ~/.ssh 目录,生成密钥

cd ~/.ssh/        # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa   # 会有提示,都按回车就可以

输入上面命令后,一直按回车即可生成密钥。

ubuntu中Hadoop伪分布安装,第2张

将id_rsa.pub文件的内容追加到authorized_keys文件中

cat id_rsa.pub >> authorized_keys     # 加入授权

ubuntu中Hadoop伪分布安装,第3张

对于伪分布来说,ssh localhost 命令能够免密钥登录,就ok了。

ubuntu中Hadoop伪分布安装,第4张


3. 查看IP

(1)安装net-tools包

sudo apt install net-tools

(2)通过 ifconfig 查看本机ip信息

ubuntu中Hadoop伪分布安装,第5张

4. 安装Java环境

提前准备好JDK1.8,放到ubuntu中,如果在windows上, 可以直接复制,到ubuntu上粘贴即可。

先在/home/peng目录下创建bigdata文件夹。peng是我的用户名,根据实际的修改即可。

mkdir /home/peng/bigdata

将安装文件放到该目录下。然后将继续创建目录存放解压的JDK文件。

cd /usr/lib
sudo mkdir jvm

将JDK解压到 /usr/lib/jvm 目录去

cd
cd bigdata
sudo tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm

设置环境变量

vim  ~/.bashrc

可在开头添加下面几行,注意,进入编辑文本窗口后, 按 字母    i     进入编辑每行开头的# 号代表注释,保持并退出编辑: 先按 ESC, 再按 冒号:,再按 wq  。 退出不保存是 先按ESC,再按 q!

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存并退出编辑,下面命令让.bashrc文件生效:

source ~/.bashrc

通过java -version 查看是否安装成功,出现如下说明安装成功。

ubuntu中Hadoop伪分布安装,第6张

5. Hadoop伪分布安装

伪分布安装,仅需要 修改  core-site.xml  和 hdfs-site.xml文件即可.

先进入bigdata文件夹解压hadoop压缩包。

cd  ~/bigdata
tar -zxvf hadoop-3.1.3.tar.gz

ubuntu中Hadoop伪分布安装,第7张

解压完成后,进入  hadoop/etc/hadoop  目录完成上面文件配置。

cd  hadoop-3.1.3/etc/hadoop
vim core-site.xml

core-site.xml配置如下, 注意 补充好内容即可:


    
        hadoop.tmp.dir
        /home/peng/bigdata/hadoopdata/ 
        需要先创建该目录
    
    
        fs.defaultFS
        hdfs://localhost:9000
    
mkdir  /home/peng/bigdata/hadoopdata
vim hdfs-site.xml

hdfs-site.xml配置如下:


    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        /home/peng/bigdata/hadoopdata/dfs/name
    
    
        dfs.datanode.data.dir
        /home/peng/bigdata/hadoopdata/dfs/data
    

修改坏境变量

vim ~/.bashrc

添加 HADOOP_HOME

export HADOOP_HOME=/home/peng/bigdata/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使改动生效:

source ~/.bashrc

查看Hadoop版本信息

ubuntu中Hadoop伪分布安装,第8张

格式化文件系统

hadoop namenode -format

注:若有需要再次格式化,请将$HADOOP_HOME/logs文件夹里面内容清空。以及hadoopdata文件夹里面的内容清空。

成功后,可以启动集群,启动hdfs和yarn

start-all.sh

ubuntu中Hadoop伪分布安装,第9张

Jps查看进程,NameNode、Datanode、ResourceManager、NodeManager、SecondaryNameNode都齐全证明配置成功。

ubuntu中Hadoop伪分布安装,第10张

网页端查看HDFS文件系统,在浏览器输入:http://localhost:9870/      ,注意,如果用的是hadoop2,端口号是 50070

ubuntu中Hadoop伪分布安装,第11张

网页端查看YARN,在浏览器输入:

ubuntu中Hadoop伪分布安装,第12张

至此,Hadoop伪分布安装已完成。

建议看官网:

Apache Hadoop 3.1.3 – Hadoop: Setting up a Single Node Cluster.

 
 中国苗木网苗木交易第一平台  空心泡儿图片  关于祖国的诗歌  雨中蜻蜓  光阴的故事歌词  家中为什么不能养墨兰 
打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《ubuntu中Hadoop伪分布安装》
文章链接:https://goodmancom.com/wl/175952.html