很多的朋友在面試中會(huì)遇到這樣的問題,也有很多的項(xiàng)目在運(yùn)營一段時(shí)間后也會(huì)遇到MYSQL查詢中變慢的一些瓶頸,今天這兒簡單的介紹下我常用的幾種查詢分頁的方法,我所知道的也無非就是索引、分表、子查詢偏移,所以要是有什么不對(duì)或有更好的方法,歡迎大家留言討論。
效率分析關(guān)鍵詞:explain + SQL語句
一,最常見MYSQL最基本的分頁方式limit:
select * from `table` order by id desc limit 0, 20
在中小數(shù)據(jù)量的情況下,這樣的SQL足夠用了,唯一需要注意的問題就是確保使用了索引。隨著數(shù)據(jù)量的增加,頁數(shù)會(huì)越來越多,在數(shù)據(jù)慢慢增長的過程中,可能就會(huì)出現(xiàn)limit 10000,20這樣的情況,limit 10000,20的意思掃描滿足條件的10020行,扔掉前面的10000行,返回最后的20行,問題就在這里,如果是limit 100000,100,需要掃描100100行,在一個(gè)高并發(fā)的應(yīng)用里,每次查詢需要掃描超過10W行,性能肯定大打折扣。
這種方式有幾個(gè)不足:較大的偏移(OFFSET)會(huì)增加結(jié)果集,小比例的低效分頁足夠產(chǎn)生磁盤I/O瓶頸,需要掃描的行多。
簡單的解決方法:不顯示記錄總數(shù),沒用戶在乎這個(gè)數(shù)字;不讓用戶訪問頁數(shù)比較大的記錄,重定向他們;避免count(*) ,不顯示總數(shù),讓用戶通過“下一頁”來翻頁 ,緩存總數(shù);單獨(dú)統(tǒng)計(jì)總數(shù),在插入和刪除時(shí)遞增/遞減
二,第二種就是分表,計(jì)算HASH值,這兒不做介紹了,我目前也沒有在項(xiàng)目中真正使用過這種方法,還停留在理論層次;
三,第三種是偏移:
SELECT * FROM `table` WHERE id <= (SELECT id FROM `table` ORDER BY id desc LIMIT ".($page-1)*$pagesize.", 1) ORDER BY id desc LIMIT $pagesize
或者
select * FROM `table` AS t1 JOIN (SELECT id FROM `table` ORDER BY id desc LIMIT 900,1) AS t2 WHERE t1.id<=t2.id order by t1.id desc limit 5
原理就是記錄住當(dāng)前頁id的最大值和最小值,計(jì)算跳轉(zhuǎn)頁面和當(dāng)前頁相對(duì)偏移,由于頁面相近,這個(gè)偏移量不會(huì)很大,這樣的話m值相對(duì)較小,大大減少掃描的行數(shù)。其實(shí)傳統(tǒng)的limit m,n,相對(duì)的偏移一直是第一頁,這樣的話越翻到后面,效率越差,而上面給出的方法就沒有這樣的問題。
比如還是SELECT * FROM `table` ORDER BY id DESC,按id降序分頁,每頁20條,當(dāng)前是第10頁,當(dāng)前頁條目id最大的是9527,最小的是9500,如果我們只提供”上一頁”、”下一頁”這樣的跳轉(zhuǎn)(不提供到第N頁的跳轉(zhuǎn)),那么在處理”上一頁”的時(shí)候SQL語句可以是:
SELECT * FROM `table` WHERE id > 9527 ORDER BY id ASC LIMIT 20;
處理”下一頁”的時(shí)候SQL語句可以是:
SELECT * FROM `table` WHERE id < 9500 ORDER BY id DESC LIMIT 20;
不管翻多少頁,每次查詢只掃描20行。
缺點(diǎn)是只能提供”上一頁”、”下一頁”的鏈接形式,但是我一般來說非常喜歡”<上一頁 1 2 3 4 5 6 7 8 9 下一頁>”這樣的鏈接方式,怎么辦呢?
如果LIMIT m,n不可避免的話,要優(yōu)化效率,只有盡可能的讓m小一下,我們擴(kuò)展前面做法,還是SELECT * FROM `table` ORDER BY id DESC,按id降序分頁,每頁20條,當(dāng)前是第10頁,當(dāng)前頁條目id最大的是9527,最小的是9500,比如要跳到第8頁,我看的SQL語句可以這樣寫:
SELECT * FROM `table` WHERE id > 9527 ORDER BY id ASC LIMIT 20,20;
跳轉(zhuǎn)到第13頁:
SELECT * FROM `table` WHERE id > 9527 ORDER BY id ASC LIMIT 20,20;
注意SQL語句里面的ASC和DESC,如果是ASC取出來的結(jié)果,顯示的時(shí)候記得倒置一下。
整體來說在面對(duì)百萬級(jí)數(shù)據(jù)的時(shí)候如果使用上面第三種方法來優(yōu)化,系統(tǒng)性能上是能夠得到很好的提升,在遇到復(fù)雜的查詢時(shí)也盡量簡化,減少運(yùn)算量。 同時(shí)也盡量多的使用內(nèi)存緩存,有條件的可以考慮分表、分庫、陣列之類的大型解決方案了。
聯(lián)系客服