CentOS7安装hive-2.1.0-白红宇

CentOS7安装hive-2.1.0

阅读量：6481 次

发布时间：2019-06-23

本文共 3440 字，大约阅读时间需要 11 分钟。

环境：

CentOS7

Hadoop-2.6.4，配置两个节点：master、slave1

mysql-server

过程：

下载、解压hive-2.1.0到/usr/hadoop-2.6.4/thirdparty

$ tar zxvf apache-hive-2.1.0-bin.tar.gz

设置 Hive环境变量

编辑 /etc/profile文件, 在其中添加以下内容：

# Hive Envexport HIVE_HOME=/usr/hadoop-2.6.4/thirdparty/apache-hive-2.1.0-binexport PATH=$PATH:$HIVE_HOME/bin

使环境变量生效：

$ source /etc/profile

配置Hive

配置文件重命名

在运行 Hive 之前需要使用以下命令修改配置文件：

复制代码

cd /usr/hadoop-2.6.4/thirdparty/apache-hive-2.1.0-bin/conf

cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml cp hive-log4j2.properties.template hive-log4j2.properties cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

复制代码

修改hive-env.sh

因为 Hive 使用了 Hadoop, 需要在 hive-env.sh 文件中指定 Hadoop 安装路径：

export JAVA_HOME=/usr/java/jdk-1.8.0_101    ##Java路径export HADOOP_HOME=/usr/hadoop-2.6.4   ##Hadoop安装路径export HIVE_HOME=/usr/hadoop-2.6.4/thirdparty/apache-hive-2.1.0-bin    ##Hive安装路径export HIVE_CONF_DIR=$HIVE_HOME/conf    ##Hive配置文件路径

修改hive-site.xml

对应<name/>，修改成如下<value/>值：

复制代码


        
     
      hive.exec.scratchdir
         
     
      /tmp/hive-${user.name}
         
     
      HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.
       
      
        
     
      hive.exec.local.scratchdir
         
     
      /tmp/${user.name}
         
     
      Local scratch space for Hive jobs
       
      
        
     
      hive.downloaded.resources.dir
         
     
      /tmp/hive/resources
         
     
      Temporary local directory for added resources in the remote file system.
       
    
        
     
      hive.querylog.location
         
     
      /tmp/${user.name}
         
     
      Location of Hive run time structured log file
       
    
        
     
      hive.server2.logging.operation.log.location
         
     
      /tmp/${user.name}/operation_logs
         
     
      Top level directory where operation logs are stored if logging functionality is enabled

复制代码

配置Hive Metastore

默认情况下, Hive的元数据保存在了内嵌的 derby 数据库里, 但一般情况下生产环境使用 MySQL 来存放 Hive 元数据。

将 mysql-connector-java-5.1.40-bin.jar 放入 $HIVE_HOME/lib 下。

hive-site.xml 中配置 MySQL 数据库连接信息。

复制代码


     
     
      javax.jdo.option.ConnectionURL
      
     
      jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false
     
    
     
     
      javax.jdo.option.ConnectionDriverName
      
     
      com.mysql.jdbc.Driver
     
    
     
     
      javax.jdo.option.ConnectionUserName
      
     
      hive
     
    
     
     
      javax.jdo.option.ConnectionPassword
      
     
      hive

复制代码

为Hive创建HDFS目录

在 Hive 中创建表之前需要使用以下 HDFS 命令创建 /tmp 和 /user/hive/warehouse (hive-site.xml 配置文件中属性项 hive.metastore.warehouse.dir 的默认值) 目录并给它们赋写权限。

start-dfs.shhdfs dfs -mkdir /tmphdfs dfs -mkdir -p /usr/hive/warehousehdfs dfs -chmod g+w /tmphdfs dfs -chmod g+w /usr/hive/warehouse

给mysql创建用户hive/密码hive：

$ mysql -u root -p #密码已设为123456mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY "hive";mysql> grant all privileges on *.* to hive@localhost identified by 'hive';