warehouse
在學(xué)習(xí)Hive的配置管理參數(shù)時(shí)，曾將參數(shù)分為四類：Hive管理參數(shù)、Hive元存儲(chǔ)（Metastore）管理參數(shù)、與Hadoop交互的管理參數(shù)、用于傳遞運(yùn)行時(shí)信息的參數(shù)，當(dāng)時(shí)并沒(méi)有對(duì)Metastore參數(shù)進(jìn)行深入的學(xué)習(xí)，現(xiàn)在就開(kāi)始學(xué)習(xí)這部分的內(nèi)容。
Hive中表和分區(qū)的所有元數(shù)據(jù)都存儲(chǔ)在Hive的元存儲(chǔ)（Metastore）中。元數(shù)據(jù)使用JPOX（Java Persistent Objects）對(duì)象關(guān)系映射解決方案進(jìn)行持久化，所以任何被JPOX支持的存儲(chǔ)都可以被Hive使用。大多數(shù)商業(yè)關(guān)系型數(shù)據(jù)庫(kù)和許多開(kāi)源的數(shù)據(jù)存儲(chǔ)都被支持，所以就可以被Hive使用存儲(chǔ)元數(shù)據(jù)。Hive支持三種不同的元存儲(chǔ)服務(wù)器，分別為：內(nèi)嵌式元存儲(chǔ)、本地元存儲(chǔ)、遠(yuǎn)程元存儲(chǔ)，每種存儲(chǔ)方式使用不同的配置參數(shù)，相關(guān)的配置參數(shù)如下表所示：
配置參數(shù)
描述
javax.jdo.option.ConnectionURL
包含元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)的JDBC連接字符串。默認(rèn)值為jdbc:derby:;databaseName=metastore_db;create=true。
javax.jdo.option.ConnectionDriverName
包含元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)的JDBC驅(qū)動(dòng)類名稱。默認(rèn)值為org.apache.derby.jdbc.EmbeddedDriver。
hive.metastore.uris
Hive連接到該URI請(qǐng)求遠(yuǎn)程元存儲(chǔ)的元數(shù)據(jù)。默認(rèn)值為空。
hive.metastore.local
本地或者遠(yuǎn)程數(shù)據(jù)存儲(chǔ) (Hive-0.10已經(jīng)不再使用該參數(shù): 如果hive.metastore.uris為空值則為本地模式，否則為遠(yuǎn)程模式)。
hive.metastore.warehouse.dir
本地表的默認(rèn)位置，默認(rèn)值為/user/hive/warehouse。
hive.metastore.metadb.dir
hive.metastore.rawstore.impl
實(shí)現(xiàn)org.apache.hadoop.hive.metastore.rawstore接口的類，該類用于存儲(chǔ)和檢索行元數(shù)據(jù)對(duì)象，如表、數(shù)據(jù)庫(kù)。
hive.metastore.ds.connection.url.hook
提取JDO連接URL的鉤子名稱，若為空，則使用javax.jdo.option.ConnectionURL中的值。
hive.metastore.server.min.threads
Thrift服務(wù)器池中工作線程的最小數(shù)量，默認(rèn)值為200。
hive.metastore.server.max.threads
Thrift 服務(wù)器池中工作線程的最大數(shù)量，默認(rèn)值為10000。
hive.hmshandler.retry.attempts
在JDO數(shù)據(jù)存儲(chǔ)出現(xiàn)錯(cuò)誤后嘗試連接的次數(shù)默認(rèn)值為1。
hive.hmshandler.retry.interval
嘗試間隔的毫秒數(shù)，默認(rèn)值為1000。
前面提到Hive支持三種元存儲(chǔ)方式，默認(rèn)方式為內(nèi)嵌式元存儲(chǔ)。下面分別對(duì)三種存儲(chǔ)方式如何配置進(jìn)行學(xué)習(xí)。
內(nèi)嵌式元存儲(chǔ)
內(nèi)嵌式元存儲(chǔ)主要用于單元測(cè)試，在該模式下每次只有一個(gè)進(jìn)程可以連接到元存儲(chǔ)，Derby是內(nèi)嵌式元存儲(chǔ)的默認(rèn)數(shù)據(jù)庫(kù)。內(nèi)嵌式元存儲(chǔ)的配置如下：
配置參數(shù)
值
描述
javax.jdo.option.ConnectionURL
jdbc:derby:;databaseName=metastore_db;create=true
包含元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)的JDBC連接字符串。
javax.jdo.option.ConnectionDriverName
org.apache.derby.jdbc.EmbeddedDriver
JDBC驅(qū)動(dòng)類。
hive.metastore.warehouse.dir
/user/hive/warehouse
本地表的默認(rèn)位置。
hive.metastore.uris
空值
內(nèi)嵌式也是本地模式，所以為空值。
本地元存儲(chǔ)
在本地模式下，每個(gè)Hive客戶端都會(huì)打開(kāi)到數(shù)據(jù)存儲(chǔ)的連接并在該連接上請(qǐng)求SQL查詢。下表展示了如何在MySQL數(shù)據(jù)庫(kù)服務(wù)器中建立元存儲(chǔ)，確保在Hive查詢被執(zhí)行的機(jī)器上是可以訪問(wèn)該數(shù)據(jù)庫(kù)服務(wù)器的，同時(shí)確保JDBC類庫(kù)在Hive客戶端的類路徑中。
配置參數(shù)
值
描述
javax.jdo.option.ConnectionURL
jdbc:mysql://<host name>/<database name>?createDatabaseIfNotExist=true
元數(shù)據(jù)存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)中。
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
MySQL JDBC驅(qū)動(dòng)類。
javax.jdo.option.ConnectionUserName
<user name>
連接MySQL的用戶名。
javax.jdo.option.ConnectionPassword
<password>
連接MySQL的密碼。
hive.metastore.uris
空值
本地模式下為空值。
hive.metastore.warehouse.dir
/user/hive/warehouse
Hive表的默認(rèn)位置。
遠(yuǎn)程元存儲(chǔ)
在遠(yuǎn)程模式下，所有的Hive客戶端都將打開(kāi)一個(gè)到元數(shù)據(jù)服務(wù)器的連接，該服務(wù)器依次查詢?cè)獢?shù)據(jù)。元數(shù)據(jù)服務(wù)器和客戶端之間使用Thrift協(xié)議通信，從Hive-0.5.0開(kāi)始，可以執(zhí)行下面的命令啟動(dòng)Thrift服務(wù)器：
hive--service metastore
下面以MySQL為例，分別學(xué)習(xí)服務(wù)器端和客戶端的配置，服務(wù)器端的配置如下表所示：
配置參數(shù)
值
描述
javax.jdo.option.ConnectionURL
jdbc:mysql://<host name>/<database name>?createDatabaseIfNotExist=true
元數(shù)據(jù)存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)中。
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
MySQL JDBC驅(qū)動(dòng)類。
javax.jdo.option.ConnectionUserName
<user name>
連接MySQL的用戶名。
javax.jdo.option.ConnectionPassword
<password>
連接MySQL的密碼。
hive.metastore.warehouse.dir
/user/hive/warehouse
Hive表的默認(rèn)位置。
客戶端的配置為：
配置參數(shù)
值
描述
hive.metastore.uris
thrift://<host_name>:<port>
Thrift元存儲(chǔ)服務(wù)器的主機(jī)和端口號(hào)。
hive.metastore.warehouse.dir
/user/hive/warehouse
Hive表的默認(rèn)位置。
在啟動(dòng)客戶端和元存儲(chǔ)服務(wù)器之前需要將JDBC驅(qū)動(dòng)類庫(kù)放到$HIVE_HOME/lib目錄下。
