一、Hive的概述；
二、Hive的體系架構(gòu)；
三、探討Hadoop全家（生態(tài)圈）；
四、Hive與傳統(tǒng)數(shù)據(jù)庫相比；
五、Hive的數(shù)據(jù)模型（自主學(xué)習(xí)）；
六、搭建Haoop 2.7.6結(jié)合hive2.3.3實現(xiàn)數(shù)據(jù)倉庫管理；
一、Hive的概述；
背景：Hive起源于Facebook（一個美國的社交服務(wù)網(wǎng)絡(luò)）。Facebook有著大量的數(shù)據(jù)，而Hadoop是一個開源的MapReduce實現(xiàn)，可以輕松處理大量的數(shù)據(jù)。但是MapReduce程序?qū)τ贘ava程序員來說比較容易寫，但是對于其他語言使用者來說不太方便。此時Facebook最早地開始研發(fā)Hive，它讓對Hadoop使用SQL查詢（實際上SQL后臺轉(zhuǎn)化為了MapReduce）成為可能，那些非Java程序員也可以更方便地使用。hive最早的目的也就是為了分析處理海量的日志；
概述：hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能， Hadoop 通常都有較高的延遲并且在作業(yè)提交和調(diào)度的時候需要大量的開銷。因此Hive并不能夠在大規(guī)模數(shù)據(jù)集上實現(xiàn)低延遲快速的查詢，例如，Hive 在幾百M(fèi)B 的數(shù)據(jù)集上執(zhí)行查詢一般有分鐘級的時間延遲；
Hive可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析；
二、Hive的體系架構(gòu)；
體系架構(gòu)：
1.用戶接口主要有三個：CLI，Client 和 WUI。其中最常用的是CLI，Cli啟動的時候，會同時啟動一個Hive副本。Client是Hive的客戶端，用戶連接至Hive Server。在啟動 Client模式的時候，需要指出Hive Server所在節(jié)點(diǎn)，并且在該節(jié)點(diǎn)啟動Hive Server。WUI是通過瀏覽器訪問Hive；
2.Hive將元數(shù)據(jù)存儲在數(shù)據(jù)庫中，如mysql、derby。Hive中的元數(shù)據(jù)包括表的名字，表的列和分區(qū)及其屬性，表的屬性（是否為外部表等），表的數(shù)據(jù)所在目錄等；
3.解釋器、編譯器、優(yōu)化器完成HQL查詢語句從詞法分析、語法分析、編譯、優(yōu)化以及查詢計劃的生成。生成的查詢計劃存儲在HDFS中，并在隨后有MapReduce調(diào)用執(zhí)行；
4.Hive的數(shù)據(jù)存儲在HDFS中，大部分的查詢、計算由MapReduce完成；
Hive執(zhí)行請求的流程：
三、探討Hadoop全家（生態(tài)圈）；
https://www.sohu.com/a/218420440_505794 ##Hadoop全家
https://www.cnblogs.com/zhangwuji/p/7594725.html ##Hadoop發(fā)展史
四、Hive與傳統(tǒng)數(shù)據(jù)庫相比；
由于Hive采用了SQL的查詢語言HQL，因此很容易將Hive理解為數(shù)據(jù)庫。其實從結(jié)構(gòu)上來看，Hive和數(shù)據(jù)庫除了擁有類似的查詢語言，再無類似之處。數(shù)據(jù)庫可以用在Online的應(yīng)用中，但是Hive是為數(shù)據(jù)倉庫而設(shè)計的，清楚這一點(diǎn)，有助于從應(yīng)用角度理解Hive的特性；
五、Hive的數(shù)據(jù)模型（自主學(xué)習(xí)）；
概述：對于數(shù)據(jù)存儲，Hive沒有專門的數(shù)據(jù)存儲格式，也沒有為數(shù)據(jù)建立索引，用戶可以非常自由的組織Hive中的表，只需要在創(chuàng)建表的時候告訴Hive數(shù)據(jù)中的列分隔符和行分隔符，Hive就可以解析數(shù)據(jù)。Hive中所有的數(shù)據(jù)都存儲在HDFS中，存儲結(jié)構(gòu)主要包括數(shù)據(jù)庫、文件、表和視圖。Hive中包含以下數(shù)據(jù)模型：Table內(nèi)部表、External Table外部表、Partition分區(qū)、Bucket桶。自行百度Hive的數(shù)據(jù)模型；
六、搭建Haoop 2.7.6結(jié)合hive2.3.3實現(xiàn)數(shù)據(jù)倉庫管理；
案例環(huán)境：
系統(tǒng)類型 | IP地址 | 主機(jī)名、角色 | 所需軟件 |
Centos 7.4 1708 64bit | 192.168.100.101 | master hadoop：namenode hive | hadoop-2.7.6.tar.gz jdk-8u171-linux-x64.tar.gz apache-hive-2.3.3-bin.tar.gz |
Centos 7.4 1708 64bit | 192.168.100.102 | slave1 hadoop：datanode | hadoop-2.7.6.tar.gz jdk-8u171-linux-x64.tar.gz |
Centos 7.4 1708 64bit | 192.168.100.103 | slave2 hadoop：datanode | hadoop-2.7.6.tar.gz jdk-8u171-linux-x64.tar.gz |
案例步驟：
?安裝hive軟件程序；
?準(zhǔn)備hive的元數(shù)據(jù)存儲位置Mysql數(shù)據(jù)庫；
?準(zhǔn)備hive服務(wù)需要存儲文件的目錄；
?配置hive的配置文件；
?配置hive服務(wù)連接mysql數(shù)據(jù)庫的驅(qū)動；
?初始化hive連接mysql數(shù)據(jù)庫；
?啟動并連接hive服務(wù)；
?學(xué)習(xí)hive中的管理操作；
?將文件內(nèi)容導(dǎo)入到hive的表中；
?通過web頁面查看HDFS文件系統(tǒng)中的數(shù)據(jù)；
?通過mysql管理控制臺驗證mysql中存儲的hive的元數(shù)據(jù)；
?安裝hive軟件程序；
[root@master ~]# ls /root/apache-hive-2.3.3-bin.tar.gz
/root/apache-hive-2.3.3-bin.tar.gz
[root@master ~]# tar zxvf /root/apache-hive-2.3.3-bin.tar.gz
[root@master ~]# mv apache-hive-2.3.3-bin/ /usr/local/hive
[root@master ~]# chown hadoop:hadoop /usr/local/hive/ -R
[root@master ~]# vi /etc/profile
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.
[root@master ~]# source /etc/profile
?準(zhǔn)備hive的元數(shù)據(jù)存儲位置Mysql數(shù)據(jù)庫；
[root@master ~]# yum -y install mariadb-server mariadb
[root@master ~]# sed -i 's/\[mysqld\]/\[mysqld\]\nskip_name_resolve/g' /etc/my.cnf
##注：需要關(guān)閉mysql服務(wù)器的反向解析，不然會在初始化myssql數(shù)據(jù)庫時出現(xiàn)反向解析情況，無法初始化
[root@master ~]# systemctl start mariadb
[root@master ~]# systemctl enable mariadb
Created symlink from /etc/systemd/system/multi-user.target.wants/mariadb.service to /usr/lib/systemd/system/mariadb.service.
[root@master ~]# mysqladmin -uroot password
[root@master ~]# mysql -uroot -p123123
MariaDB [(none)]> grant all on *.* to root@'192.168.100.101' identified by '123123';
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> exit
?準(zhǔn)備hive服務(wù)需要存儲文件的目錄；
[root@master ~]# su - hadoop
[hadoop@master ~]$ hadoop fs -mkdir -p /user/hive/warehouse
[hadoop@master ~]$ hadoop fs -chmod 777 /user/hive/warehouse
[hadoop@master ~]$ hadoop fs -mkdir -p /tmp/hive/
[hadoop@master ~]$ hadoop fs -chmod 777 /tmp/hive
[hadoop@master ~]$ hadoop fs -ls /
Found 2 items
drwxr-xr-x - hadoop supergroup 0 2018-08-27 20:51 /tmp
drwxr-xr-x - hadoop supergroup 0 2018-08-27 20:51 /user
[hadoop@master ~]$ mkdir /usr/local/hive/tmp
[hadoop@master ~]$ mkdir /usr/local/hive/tmp/root
?配置hive的配置文件；
[hadoop@master ~]$ cp /usr/local/hive/conf/hive-default.xml.template /usr/local/hive/conf/hive-site.xml
[hadoop@master ~]$ mv /usr/local/hive/conf/hive-env.sh.template /usr/local/hive/conf/hive-env.sh
[hadoop@master ~]$ vi /usr/local/hive/conf/hive-site.xml
364
365
366
367
368
37
38
39
40
41
73
74
75
76
77
78
79
80
81
82
1683
1684
1685
1686
1687
3974
3975
3976
3977
3978
543
544
545
546
550
551
1018
1019
1020
1021
1022
1043
1044
1045
1046
1047
528
529
530
531
532
744
745
746
747
753
754
:wq
[hadoop@master ~]$ vi /usr/local/hive/conf/hive-env.sh ##設(shè)置hive的環(huán)境變量
export HADOOP_HOME=/usr/local/hadoop
export HIVE_CONF_DIR=/usr/local/hive/conf
export HIVE_AUX_JARS_PATH=/usr/local/hive/lib
:wq
?配置hive服務(wù)連接mysql數(shù)據(jù)庫的驅(qū)動；
[hadoop@master ~]$ wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
[hadoop@master ~]$ ls mysql-connector-java-5.1.46.tar.gz
mysql-connector-java-5.1.46.tar.gz
[hadoop@master ~]$ tar zxvf mysql-connector-java-5.1.46.tar.gz
[hadoop@master ~]$ cp /home/hadoop/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46.jar /usr/local/hive/lib/
[hadoop@master ~]$ ls /usr/local/hive/lib/mysql-connector-java-5.1.46.jar
/usr/local/hive/lib/mysql-connector-java-5.1.46.jar
?初始化hive連接mysql數(shù)據(jù)庫；
[hadoop@master ~]$ /usr/local/hive/bin/schematool -dbType mysql -initSchema
?啟動并連接hive服務(wù)；
[hadoop@master ~]$ hive
hive> show databases;
OK
default
Time taken: 4.695 seconds, Fetched: 1 row(s)
?學(xué)習(xí)hive中的管理操作；
hive> show functions; ##查看可用函數(shù)
OK
!
!=
$sum0
%
&
*
+
-
/
<
<=
...
hive> desc function sum; ##查看函數(shù)詳細(xì)信息
OK
sum(x) - Returns the sum of a set of numbers
Time taken: 0.006 seconds, Fetched: 1 row(s)
hive> create database linuxfan; ##創(chuàng)建數(shù)據(jù)庫linuxfan
OK
Time taken: 0.282 seconds
hive> show databases;
OK
default
linuxfan
Time taken: 0.023 seconds, Fetched: 2 row(s)
hive> use linuxfan;
OK
Time taken: 0.025 seconds
hive> create table t1(id int,name string) row format delimited fields terminated by '\t';
##創(chuàng)建表并且指定字段id和字段name之間的分隔使用\t制表符；
OK
Time taken: 0.581 seconds
hive> show tables;
OK
t1
Time taken: 0.042 seconds, Fetched: 1 row(s)
hive> exit;
?將文件內(nèi)容導(dǎo)入到hive的表中；
[hadoop@master ~]$vi ./1.txt ##001和zs之間必須手動敲tab鍵，不得復(fù)制粘貼
001 zs
002 ls
003 ww
004 xm
[hadoop@master ~]$ hive
hive> load data local inpath '/home/hadoop/1.txt' into table linuxfan.t1;
Loading data to table linuxfan.t1;
OK
Time taken: 6.277 seconds
hive> select * from linuxfan.t1;
OK
1 zs
2 ls
3 ww
4 xm
Time taken: 1.861 seconds, Fetched: 4 row(s)
hive> exit;
?通過web頁面查看HDFS文件系統(tǒng)中的數(shù)據(jù)；
?通過mysql管理控制臺驗證mysql中存儲的hive的元數(shù)據(jù)；
