目錄
正文
概述
Hive 的元數(shù)據(jù)信息通常存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，常用MySQL數(shù)據(jù)庫(kù)作為元數(shù)據(jù)庫(kù)管理。上一篇hive的安裝也是將元數(shù)據(jù)信息存放在MySQL數(shù)據(jù)庫(kù)中。
Hive的元數(shù)據(jù)信息在MySQL數(shù)據(jù)中有57張表
一、存儲(chǔ)Hive版本的元數(shù)據(jù)表（VERSION）
VERSION -- 查詢版本信息
該表比較簡(jiǎn)單，但很重要。
VER_IDSCHEMA_VERSIONVERSION_COMMENT
ID主鍵Hive版本版本說(shuō)明
10.13.0Set by MetaStore
如果該表出現(xiàn)問(wèn)題，根本進(jìn)入不了Hive-Cli。
比如該表不存在，當(dāng)啟動(dòng)Hive-Cli時(shí)候，就會(huì)報(bào)錯(cuò)”Table ‘hive.version’ doesn’t exist”。
二、Hive數(shù)據(jù)庫(kù)相關(guān)的元數(shù)據(jù)表（DBS、DATABASE_PARAMS）
1、DBS
DBS -- 存儲(chǔ)Hive中所有數(shù)據(jù)庫(kù)的基本信息
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
DB_ID數(shù)據(jù)庫(kù)ID2
DESC數(shù)據(jù)庫(kù)描述測(cè)試庫(kù)
DB_LOCATION_URI數(shù)據(jù)庫(kù)HDFS路徑hdfs://namenode/user/hive/warehouse/lxw1234.db
NAME數(shù)據(jù)庫(kù)名lxw1234
OWNER_NAME數(shù)據(jù)庫(kù)所有者用戶名lxw1234
OWNER_TYPE所有者角色USER
2、DATABASE_PARAMS
DATABASE_PARAMS --該表存儲(chǔ)數(shù)據(jù)庫(kù)的相關(guān)參數(shù)，在CREATE DATABASE時(shí)候用
WITH DBPROPERTIES (property_name=property_value, …)指定的參數(shù)。
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
DB_ID數(shù)據(jù)庫(kù)ID2
PARAM_KEY參數(shù)名createdby
PARAM_VALUE參數(shù)值lxw1234
注意：
DBS和DATABASE_PARAMS這兩張表通過(guò)DB_ID字段關(guān)聯(lián)。
三、Hive表和視圖相關(guān)的元數(shù)據(jù)表
主要有TBLS、TABLE_PARAMS、TBL_PRIVS，這三張表通過(guò)TBL_ID關(guān)聯(lián)。
1、TBLS
該表中存儲(chǔ)Hive表、視圖、索引表的基本信息。
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
TBL_ID表ID1
CREATE_TIME創(chuàng)建時(shí)間1436317071
DB_ID數(shù)據(jù)庫(kù)ID2，對(duì)應(yīng)DBS中的DB_ID
LAST_ACCESS_TIME上次訪問(wèn)時(shí)間1436317071
OWNER所有者liuxiaowen
RETENTION保留字段0
SD_ID序列化配置信息86，對(duì)應(yīng)SDS表中的SD_ID
TBL_NAME表名lxw1234
TBL_TYPE表類型MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT視圖的詳細(xì)HQL語(yǔ)句select `lxw1234`.`pt`, `lxw1234`.`pcid` from `liuxiaowen`.`lxw1234`
VIEW_ORIGINAL_TEXT視圖的原始HQL語(yǔ)句select * from lxw1234
2、TABLE_PARAMS
該表存儲(chǔ)表/視圖的屬性信息。
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
TBL_ID表ID1
PARAM_KEY屬性名totalSize、numRows、EXTERNAL
PARAM_VALUE屬性值970107336、21231028、TRUE
3、TBL_PRIVS
該表存儲(chǔ)表/視圖的授權(quán)信息
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
TBL_GRANT_ID授權(quán)ID1
CREATE_TIME授權(quán)時(shí)間1436320455
GRANT_OPTION 0
GRANTOR授權(quán)執(zhí)行用戶liuxiaowen
GRANTOR_TYPE授權(quán)者類型USER
PRINCIPAL_NAME被授權(quán)用戶username
PRINCIPAL_TYPE被授權(quán)用戶類型USER
TBL_PRIV權(quán)限Select、Alter
TBL_ID表ID22，對(duì)應(yīng)TBLS表中的TBL_ID
四、Hive文件存儲(chǔ)信息相關(guān)的元數(shù)據(jù)表
主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS
由于HDFS支持的文件格式很多，而建Hive表時(shí)候也可以指定各種文件格式，Hive在將HQL解析成MapReduce時(shí)候，需要知道去哪里，使用哪種格式去讀寫(xiě)HDFS文件，而這些信息就保存在這幾張表中。
1、SDS
該表保存文件存儲(chǔ)的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否壓縮等。
TBLS表中的SD_ID與該表關(guān)聯(lián)，可以獲取Hive表的存儲(chǔ)信息。
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
SD_ID存儲(chǔ)信息ID1
CD_ID字段信息ID21，對(duì)應(yīng)CDS表
INPUT_FORMAT文件輸入格式org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED是否壓縮0
IS_STOREDASSUBDIRECTORIES是否以子目錄存儲(chǔ)0
LOCATIONHDFS路徑hdfs://namenode/hivedata/warehouse/ut.db/t_lxw
NUM_BUCKETS分桶數(shù)量5
OUTPUT_FORMAT文件輸出格式org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID序列化類ID3，對(duì)應(yīng)SERDES表
2、SD_PARAMS
該表存儲(chǔ)Hive存儲(chǔ)的屬性信息，在創(chuàng)建表時(shí)候使用
STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。
元數(shù)據(jù)表字段
說(shuō)明 示例數(shù)據(jù)
SD_ID存儲(chǔ)配置ID 1
PARAM_KEY存儲(chǔ)屬性名
PARAM_VALUE存儲(chǔ)屬性值
3、SERDES
該表存儲(chǔ)序列化使用的類信息
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
SERDE_ID序列化類配置ID1
NAME序列化類別名
SLIB序列化類org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
4、SERDE_PARAMS
該表存儲(chǔ)序列化的一些屬性、格式信息,比如：行、列分隔符
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
SERDE_ID序列化類配置ID1
PARAM_KEY屬性名field.delim
PARAM_VALUE屬性值,
五、Hive表字段相關(guān)的元數(shù)據(jù)表
主要涉及COLUMNS_V2
1、COLUMNS_V2
該表存儲(chǔ)表對(duì)應(yīng)的字段信息。
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
CD_ID字段信息ID1
COMMENT字段注釋
COLUMN_NAME字段名pt
TYPE_NAME字段類型string
INTEGER_IDX字段順序2
六、Hive表分區(qū)相關(guān)的元數(shù)據(jù)表
主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS
1、PARTITIONS
該表存儲(chǔ)表分區(qū)的基本信息。
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
PART_ID分區(qū)ID1
CREATE_TIME分區(qū)創(chuàng)建時(shí)間
LAST_ACCESS_TIME最后一次訪問(wèn)時(shí)間
PART_NAME分區(qū)名pt=2015-06-12
SD_ID分區(qū)存儲(chǔ)ID21
TBL_ID表ID2
2、PARTITION_KEYS
該表存儲(chǔ)分區(qū)的字段信息。
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
TBL_ID表ID2
PKEY_COMMENT分區(qū)字段說(shuō)明
PKEY_NAME分區(qū)字段名pt
PKEY_TYPE分區(qū)字段類型string
INTEGER_IDX分區(qū)字段順序1
3、PARTITION_KEY_VALS
該表存儲(chǔ)分區(qū)字段值。
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
PART_ID分區(qū)ID2
PART_KEY_VAL分區(qū)字段值2015-06-12
INTEGER_IDX分區(qū)字段值順序0
4、PARTITION_PARAMS
該表存儲(chǔ)分區(qū)的屬性信息。
元數(shù)據(jù)表字段說(shuō)明示例數(shù)據(jù)
PART_ID分區(qū)ID2
PARAM_KEY分區(qū)屬性名numFiles、numRows
PARAM_VALUE分區(qū)屬性值15、502195
七、其他不常用的元數(shù)據(jù)表
DB_PRIVS
數(shù)據(jù)庫(kù)權(quán)限信息表。通過(guò)GRANT語(yǔ)句對(duì)數(shù)據(jù)庫(kù)授權(quán)后，將會(huì)在這里存儲(chǔ)。
IDXS
索引表，存儲(chǔ)Hive索引相關(guān)的元數(shù)據(jù)
INDEX_PARAMS
索引相關(guān)的屬性信息。
TAB_COL_STATS
表字段的統(tǒng)計(jì)信息。使用ANALYZE語(yǔ)句對(duì)表字段分析后記錄在這里。
TBL_COL_PRIVS
表字段的授權(quán)信息
PART_PRIVS
分區(qū)的授權(quán)信息
PART_COL_STATS
分區(qū)字段的統(tǒng)計(jì)信息。
PART_COL_PRIVS
分區(qū)字段的權(quán)限信息。
FUNCS
用戶注冊(cè)的函數(shù)信息
FUNC_RU
用戶注冊(cè)函數(shù)的資源信息
