該文為《 MySQL 實(shí)戰(zhàn) 45 講》的學(xué)習(xí)筆記,感謝查看,如有錯(cuò)誤,歡迎指正
索引就類似書本的目錄,作用就是方便我們更加快速的查找到想要的數(shù)據(jù)。
索引的實(shí)現(xiàn)方式比較多,常見的有哈希表
,有序數(shù)組
,搜索樹
。
哈希表
是將數(shù)據(jù)以key-value
的形式存儲(chǔ)起來,簡單來說就是將key
通過哈希函數(shù)換算成數(shù)組中的一個(gè)確定的位置,將value
存到這個(gè)位置去。當(dāng)key
比較多時(shí),有可能換算出相同的位置,此時(shí)可以通過鏈表來解決。在查詢時(shí)先找到位置,再對該位置的多個(gè)value
進(jìn)行遍歷。
哈希表適合用于等值查詢,由于是無序的,不適合用來做區(qū)間查詢。
有序數(shù)組
在等值查詢和區(qū)間查詢上效率都很高。由于是有序的,可以通過二分法快速得到結(jié)果。也支持范圍查詢。但是也有一個(gè)缺點(diǎn),如果要在中間插入一個(gè)數(shù)據(jù),那么后面的所有記錄都要向后挪一位,成本太高了。
因此,有序數(shù)組只適用于靜態(tài)存儲(chǔ)引擎。 例如我們要保存2019年的出生人口信息,就適合用有序數(shù)組。
常見的搜索樹有二叉
,也有多叉
。
二叉樹
的特點(diǎn)是:
多叉樹
的特點(diǎn)是:
由于索引不止存在內(nèi)存中,還會(huì)寫到磁盤上,而讀磁盤越多,查詢效率越慢。要降低讀磁盤的次數(shù)的話,就要盡量訪問盡量少的數(shù)據(jù)塊。
假設(shè)數(shù)據(jù)塊大小是N
,樹高為M
,最多可以存的數(shù)據(jù)行數(shù)為 N^(M-1)
(N
的 M-1
次方)。最多訪問磁盤數(shù)為 M-1
。
要使樹高比較小,訪問次數(shù)就少,N叉樹
的樹高就小于二叉樹
。以 InnoDB 的一個(gè)整數(shù)字段索引為例,這個(gè) N 差不多是 1200,這棵樹高是 4 的時(shí)候,就可以存 1200 的 3 次方個(gè)值,這已經(jīng) 17 億行記錄了。一個(gè) 10 億行的表上一個(gè)整數(shù)字段的索引,查找一個(gè)值最多只需要訪問 3 次磁盤。
數(shù)據(jù)庫底層存儲(chǔ)的核心就是基于這些數(shù)據(jù)模型的。每碰到一個(gè)新數(shù)據(jù)庫,我們需要先關(guān)注它的數(shù)據(jù)模型,這樣才能從理論上分析出這個(gè)數(shù)據(jù)庫的適用場景。
索引組織表
。因此,每一個(gè)索引在 InnoDB 里面對應(yīng)一棵 B+ 樹。
根據(jù)字段約束,分為主鍵索引
和普通索引
;根據(jù)字段內(nèi)容是否可重復(fù),分為唯一索引
和非唯一索引
。
主鍵索引
主鍵是一種約束,一個(gè)表中只能有一個(gè)主鍵;
主鍵可以是多個(gè)列;
主鍵可以被其它表引用為外鍵使用;
主鍵索引可以理解為非空字段
+唯一索引
;
主鍵索引的葉子節(jié)點(diǎn)存的是整行數(shù)據(jù)。
普通索引(二級(jí)索引)
一個(gè)表中可以有多個(gè)普通索引;索引可以有多列;
普通索引的葉子節(jié)點(diǎn)內(nèi)容是主鍵的值;
唯一索引
字段內(nèi)容不能重復(fù),但是可以為空;
一個(gè)表中可以有多個(gè)唯一索引;
不能做外鍵使用;
非唯一索引
字段內(nèi)容允許重復(fù);
下面以表為例,建表語句:
mysql> create table T(
id int primary key,
k int not null,
name varchar(16),
index (k))engine=InnoDB;
表中 R1~R5 的 (ID,k) 值分別為 (100,1)、(200,2)、(300,3)、(500,5) 和 (600,6),兩棵樹的示例示意圖如下:
id
字段為主鍵索引
,主鍵索引
的字段是不會(huì)重復(fù)的,必定是唯一索引
;k
字段為普通索引
,k
的值允許重復(fù),因此是非唯一索引
。
分析下面 2 條 SQL 語句:
select * from T where ID=500
。此時(shí)用到的是主鍵索引,因此直接從索引中返回了整行記錄,只需要搜索ID
這棵 B+ 樹。select * from T where k=5
。此時(shí)用到的是普通索引,需要先搜索 k
索引樹,得到ID = 500
,再根據(jù)500
到ID
索引樹搜索一次。這種需要返回主鍵索引樹搜索的過程,叫做回表。以上兩條 SQL 語句返回的結(jié)果是一樣的,但是效率卻不一樣,因?yàn)榈?2 條 SQL 語句有一次回表操作,效率會(huì)慢很多,因此,要盡量避免回表操作,多使用主鍵查詢。
還是以上表為例,如果我們要插入一個(gè)數(shù)據(jù),ID 值為 700,則只需要在 R5 后面新增加 1 條記錄即可。如果插入的值 ID 為 400,那就需要邏輯上挪動(dòng)后面的數(shù)據(jù),空出位置。
如果恰好 R5 所在的數(shù)據(jù)頁已經(jīng)滿了,那么就需要申請一個(gè)新的數(shù)據(jù)頁,并且將 R5 挪過去,這個(gè)情況就叫做頁分裂
。
數(shù)據(jù)頁中并不是要利用率達(dá)到 100% 才會(huì)申請新的數(shù)據(jù)頁。也不是說只要有數(shù)據(jù)刪除,那么后一頁的數(shù)據(jù)就會(huì)順補(bǔ)到前一頁,這樣太浪費(fèi)性能了。數(shù)據(jù)頁有一個(gè)利用率,假設(shè)分裂是80%,合并是 50%。只要利用率達(dá)到了 80%,就會(huì)申請一個(gè)新的數(shù)據(jù)頁。如果刪除數(shù)據(jù)比較多,利用率低于 50% 了,就會(huì)把后一頁的數(shù)據(jù)合并過來。
如何避免頁分裂造成的性能消耗?常見做法是在表中,設(shè)置一個(gè)自增長的 id 主鍵,這個(gè)字段不能和業(yè)務(wù)相關(guān)。自增主鍵的定義:NOT NULL PRIMARY KEY AUTO_INCREMENT
。
這樣每次插入數(shù)據(jù),如果不指定 id 值,就會(huì)自增長到最后,因?yàn)楹蜆I(yè)務(wù)無關(guān),所以沒必要去指定 id 值。這樣可以避免出現(xiàn)頁分裂。
還是以上表為例,執(zhí)行以下 SQL 語句,分析執(zhí)行過程:
mysql> select * from T where k between 3 and 5;
k
上遍歷,得到k=3
對應(yīng)的 ID
值 300
;ID=300
去主鍵索引上取得整行記錄R3
;k
,得到k=5
對應(yīng)的 ID
值 500
;ID=500
去主鍵索引上取得整行記錄R5
;k
,發(fā)現(xiàn)k=6
,不滿足between
條件,循環(huán)結(jié)束。可以看到,這個(gè)過程讀了k
索引樹的 3
條記錄(步驟 1,3,5), 回表了2
次(步驟2,4)。
如果我們換成以下 SQL 語句:
mysql> select ID from T where k between 3 and 5;
由于 ID
已經(jīng)在k
索引樹上了,因此可以直接返回結(jié)果,不用回表。這種索引中已經(jīng)覆蓋了我們要查詢的數(shù)據(jù),叫做覆蓋索引
。
覆蓋索引
可以減少樹的搜索次數(shù)(沒有回表過程),顯著提高查詢性能。
MySQL 認(rèn)為上述操作掃描的行數(shù)是 2 行,因?yàn)樵谒饕胁閿?shù)據(jù),是在引擎層的操作。而 Server 層最后只拿到了 2 條記錄,因此 MySQL 認(rèn)為只掃描了 2 行。
那么如何看掃描函數(shù)呢?有 2 種方法:
explain
查看預(yù)計(jì)掃描行數(shù)mysql> explain select * from t where a between 1000 and 2000;
+----+-------------+-------+-------+---------------+------+---------+------+------+-----------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+-------+---------------+------+---------+------+------+-----------------------+
| 1 | SIMPLE | t | range | a | a | 5 | NULL | 1000 | Using index condition |
+----+-------------+-------+-------+---------------+------+---------+------+------+-----------------------+
1 row in set (0.01 sec)
mysql>
可以看到使用了索引 key=a
,預(yù)計(jì)掃描行數(shù)rows=1000
。
# Time: 191228 13:03:16
# User@Host: federated[federated] @ [60.191.76.22] Id: 177
# Query_time: 31.211439 Lock_time: 0.000059 Rows_sent: 0 Rows_examined: 95324
SET timestamp=1577509396;
CALL Z10004();
可以看到,掃描行數(shù)為Rows_examined: 95324
舉一個(gè)例子來理解最左前綴原則,假設(shè)有一個(gè)聯(lián)合索引(name,age)如下:
假設(shè)我們要查詢所有名為張三
的數(shù)據(jù)??梢钥焖俣ㄎ坏?code>ID4,再依次向后遍歷。如果要查詢所有姓張
的(where name like '張%')
,也能用到索引,先定位到ID3
,再依次向后遍歷,直到不滿足條件為止。
不只是索引的全部定義,只要滿足最左前綴,就可以利用索引來加速檢索。這個(gè)最左前綴可以是聯(lián)合索引的最左 N 個(gè)字段,也可以是字符串索引的最左 M 個(gè)字符。
在建立聯(lián)合索引時(shí),如何確定字段的前后順序呢?
第一原則,如果通過調(diào)整順序,可以少維護(hù)一個(gè)索引,那么這個(gè)順序往往就是需要優(yōu)先考慮采用的。
比如,已經(jīng)有了一個(gè)(a, b)索引,就不必再建立一個(gè) a 索引了。
考慮磁盤空間占用大小。
比如,(name, age) 索引加上 age 索引,和 (age, name) 索引加上 name 索引。這兩種情況,我們就要考慮占用空間了。選擇占用空間小的。
由于name 字段比 age 字段大,因此我們選擇(name, age) 索引加上 age 索引。
索引下推功能是在 MySQL 5.6 引入的,目的是減少回表次數(shù)。
還是以市民表的聯(lián)合索引(name, age)為例。如果現(xiàn)在有一個(gè)需求:檢索出表中“名字第一個(gè)字是張,而且年齡是 10 歲的所有男孩”。那么,SQL 語句是這么寫的:
mysql> select * from tuser where name like '張%' and age=10 and ismale=1;
ID3
,然后回表到主鍵索引,找出對應(yīng)的數(shù)據(jù)行,判斷是否符合and age=10 and ismale=1
。最終要回表 4 次(ID3,ID4,ID5,ID6),返回的結(jié)果只有 ID4,ID5。
聯(lián)系客服