欢迎光临
apache-hive-3.1.2-bin 安装
   

apache-hive-3.1.2-bin 安装

在安装前说明

1. hadoop、hive、flink等目前版本基本依赖于jdk1.8, 所以需要专门的JDK环境,毕竟现在大多开发者都是使用>=11版本了。

2. windows 系统建议使用VMware通过新建虚拟机安装,适用windows的版本在安装中配置、安装后使用都会挺麻烦(权限、cmd启动脚本、切换开发使用的jdk版本等),也会比较卡,毕竟Contos7系统目前是最贴近服务器环境的。

3.apache-hive 依赖一种DB结合使用,这里以已经装好的MySql为例。

下面,直接进入正题!

第一步: 下载

https://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-src.tar.gz  可使用迅雷下载

第二步: 安装

1. gz文件解压到指定目录

tar zxvf apache-hive-3.1.2-bin.tar.gz /app/hive

apache-hive-3.1.2-bin 安装,第1张

2.安装前的一些准备

2.1  首先需要JDK1.8的环境 (搭建参考地址)

2.2  xml 配置文件的修改

/app/hive/apache-hive-3.1.2-bin/conf

mysql的相关配置需要改成自己环境的配置, 在mysql新建一个hive数据库;

其他ip需要设置成自己本机的ip地址,后面启动会用上


	
    
	
		javax.jdo.option.ConnectionURL
		jdbc:mysql://xx.xx.xxx.xxx:3306/hive?serverTimezone=UTC&useSSL=false&allowPublicKeyRetrieval=true
		
		JDBC connect string for a JDBC metastore.
		
	
 
    
	
		javax.jdo.option.ConnectionDriverName
		com.mysql.cj.jdbc.Driver
		Driver class name for a JDBC metastore
	
 
    
	
		javax.jdo.option.ConnectionUserName
		xxx
		Username to use against metastore database
	
 
    
	
		javax.jdo.option.ConnectionPassword
		xxxxxxxxx
		password to use against metastore database
	
	
	
	
	  hive.metastore.uris
	  thrift://192.168.254.130:9083
	
	
	
	
	  hive.server2.thrift.bind.host
	  192.168.254.130
	
	
	
	  hive.server2.thrift.port
	  10000
	
	
2.2.1  mysql 驱动包

如果mysql安装的是8.0版本以上,需要把 mysql-connector-java-8.0.22.jar 上传至 /app/hive/apache-hive-3.1.2-bin/lib 目录下。

2.3  sh 配置文件的修改

/app/hive/apache-hive-3.1.2-bin/conf 目录下的 hive-env.sh 文件

HADOOP_HOME:hadoop的安装目录

HIVE_CONF_DIR: hive 解压后的conf 根目录

HIVE_CONF_DIR: hive 解压后的lib 根目录

# Set HADOOP_HOME to point to a specific hadoop install directory
export HADOOP_HOME=/app/hadoop/hadoop-3.1.3
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/app/hive/apache-hive-3.1.2-bin/conf
# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/app/hive/apache-hive-3.1.2-bin/lib
2.4  ContOS7 系统 hive 环境变量 HIVE_HOME 配置
vi /etc/profile
#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.402.b06-1.el7_9.x86_64
export PATH=$PATH:$JAVA_HOME/bin
#:HADOOP_HOME
export HADOOP_HOME=/app/hadoop/hadoop-3.1.0
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
#HIVE_HOME
export HIVE_HOME=/app/hive/apache-hive-3.1.2-bin
export PATH=$PATH:${HIVE_HOME}/bin
#flink
export FLINK_HOME=/app/flink/flink-1.17.2
export PATH=$PATH:$FLINK_HOME/bin

刷新配置

source /etc/profile

3.启动

通过 myhive.sh 脚本启动

myhive.sh start  启动

myhive.sh stop  停止

VE_LOG_DIR=$HIVE_HOME/logs
mkdir -p $HIVE_LOG_DIR
#检查进程是否运行正常,参数1为进程名,参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}
function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}
function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}
case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

给脚本添加执行曲线

chmod +x myhive.sh

4.验证

3步骤脚本执行后,执行hive命令行,能进入hive则安装成功

apache-hive-3.1.2-bin 安装,第2张

# 查看占用的端口

 若启动失败也可用命令行查看配置文件的相关端口是否启用,具体原因具体排查

sudo netstat -ntlp  on the master
 
 老师送学生的12种礼物  祸国下载  紫丁香  中国足坛反赌扫黑  冰壶怎么做  李子苗批发 
打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《apache-hive-3.1.2-bin 安装》
文章链接:https://goodmancom.com/wl/175958.html