熱線電話:13121318867

登錄
首頁大數據時代Hive基本介紹及安裝應用方法
Hive基本介紹及安裝應用方法
2020-07-14
收藏

Hive是一款基于Hadoop數據倉庫工具,通常被用于數據提取、轉化、加載,可以將結構化的數據文件映射為一張數據庫表,并提供類SQL查詢功能,能將SQL語句轉變成MapReduce任務來執行。Hive最大的優點是學習成本低,能夠使用類似SQL語句實現快速MapReduce統計,這樣使得MapReduce變得更加簡潔,不需要開發專門的MapReduce應用程序。

一、Hive的特點

1.擴展性

Hive可以自由的擴展集群的規模,通常情況下不需要重啟服務。

2.延展性

Hive支持用戶自定義函數,用戶可以根據自己的需求來實現自己的函數。

3.容錯性

良好的容錯性,節點出現問題SQL仍可完成執行

二、HIVE的安裝部署

建議使用 1.x 版本

只需要在一個節點上安裝(Master節點)

具體步驟

1. 下載

hive.apache.org

拷貝到linux

winscp

設置共享文件夾

2.解壓

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/programfile/

配置環境變量(/etc/profile)

export HIVE_HOME=/opt/programfile/hive

export PATH=$ PATH:$HIVE_HOME/bin

使新的配置生效:source /etc/profile

3.配置hive

(1) 改名

cp hive-env.sh.template hive-env.sh

(2)修改配置(指定hadoop的路徑,因為hive基于Hadoop運行的)

HADOOP_HOME=/opt/programfile/hadoop

export HIVE_CONF_DIR=/opt/programfile/hive/conf

(3)開啟集群

start-dfs.sh

start-yarn.sh

配置數據倉庫的存儲路徑(數據最終存儲在HDFS上)(在HDFS上配置的路徑)

注意:此路徑需要具有寫權限

創建數據存儲目錄:

hdfs dfs -mkdir /tmp

hdfs dfs -mkdir -p /user/hive/warehouse

修改權限:

hdfs dfs -chmod 777 /tmp

hdfs dfs -chmod 777 /user/hive/warehouse

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢