免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

打開APP
userphoto
未登錄

開通VIP,暢享免費(fèi)電子書等14項(xiàng)超值服

開通VIP
Mysql數(shù)據(jù)庫百萬級(jí)記錄查詢分頁優(yōu)化


數(shù)據(jù)庫 memory發(fā)布于May 6, 2013 標(biāo)簽: MySQL

很多的朋友在面試中會(huì)遇到這樣的問題,也有很多的項(xiàng)目在運(yùn)營一段時(shí)間后也會(huì)遇到MYSQL查詢中變慢的一些瓶頸,今天這兒簡單的介紹下我常用的幾種查詢分頁的方法,我所知道的也無非就是索引、分表、子查詢偏移,所以要是有什么不對(duì)或有更好的方法,歡迎大家留言討論。

效率分析關(guān)鍵詞:explain + SQL語句

一,最常見MYSQL最基本的分頁方式limit:

select * from `table` order by id desc limit 0, 20

在中小數(shù)據(jù)量的情況下,這樣的SQL足夠用了,唯一需要注意的問題就是確保使用了索引。隨著數(shù)據(jù)量的增加,頁數(shù)會(huì)越來越多,在數(shù)據(jù)慢慢增長的過程中,可能就會(huì)出現(xiàn)limit 10000,20這樣的情況,limit 10000,20的意思掃描滿足條件的10020行,扔掉前面的10000行,返回最后的20行,問題就在這里,如果是limit 100000,100,需要掃描100100行,在一個(gè)高并發(fā)的應(yīng)用里,每次查詢需要掃描超過10W行,性能肯定大打折扣。

這種方式有幾個(gè)不足:較大的偏移(OFFSET)會(huì)增加結(jié)果集,小比例的低效分頁足夠產(chǎn)生磁盤I/O瓶頸,需要掃描的行多。

簡單的解決方法:不顯示記錄總數(shù),沒用戶在乎這個(gè)數(shù)字;不讓用戶訪問頁數(shù)比較大的記錄,重定向他們;避免count(*) ,不顯示總數(shù),讓用戶通過“下一頁”來翻頁 ,緩存總數(shù);單獨(dú)統(tǒng)計(jì)總數(shù),在插入和刪除時(shí)遞增/遞減

二,第二種就是分表,計(jì)算HASH值,這兒不做介紹了,我目前也沒有在項(xiàng)目中真正使用過這種方法,還停留在理論層次;

三,第三種是偏移:

SELECT * FROM `table` WHERE id <= (SELECT id FROM `table` ORDER BY id desc LIMIT ".($page-1)*$pagesize.", 1) ORDER BY id desc LIMIT $pagesize

或者

select * FROM `table` AS t1 JOIN (SELECT id FROM `table` ORDER BY id desc LIMIT 900,1) AS t2 WHERE t1.id<=t2.id order by t1.id desc limit 5

原理就是記錄住當(dāng)前頁id的最大值和最小值,計(jì)算跳轉(zhuǎn)頁面和當(dāng)前頁相對(duì)偏移,由于頁面相近,這個(gè)偏移量不會(huì)很大,這樣的話m值相對(duì)較小,大大減少掃描的行數(shù)。其實(shí)傳統(tǒng)的limit m,n,相對(duì)的偏移一直是第一頁,這樣的話越翻到后面,效率越差,而上面給出的方法就沒有這樣的問題。

比如還是SELECT * FROM `table` ORDER BY id DESC,按id降序分頁,每頁20條,當(dāng)前是第10頁,當(dāng)前頁條目id最大的是9527,最小的是9500,如果我們只提供”上一頁”、”下一頁”這樣的跳轉(zhuǎn)(不提供到第N頁的跳轉(zhuǎn)),那么在處理”上一頁”的時(shí)候SQL語句可以是:

SELECT * FROM `table` WHERE id > 9527 ORDER BY id ASC LIMIT 20;

處理”下一頁”的時(shí)候SQL語句可以是:

SELECT * FROM `table` WHERE id < 9500 ORDER BY id DESC LIMIT 20;

不管翻多少頁,每次查詢只掃描20行。

缺點(diǎn)是只能提供”上一頁”、”下一頁”的鏈接形式,但是我一般來說非常喜歡”<上一頁 1 2 3 4 5 6 7 8 9 下一頁>”這樣的鏈接方式,怎么辦呢?

如果LIMIT m,n不可避免的話,要優(yōu)化效率,只有盡可能的讓m小一下,我們擴(kuò)展前面做法,還是SELECT * FROM `table` ORDER BY id DESC,按id降序分頁,每頁20條,當(dāng)前是第10頁,當(dāng)前頁條目id最大的是9527,最小的是9500,比如要跳到第8頁,我看的SQL語句可以這樣寫:

SELECT * FROM `table` WHERE id > 9527 ORDER BY id ASC LIMIT 20,20;

跳轉(zhuǎn)到第13頁:

SELECT * FROM `table` WHERE id > 9527 ORDER BY id ASC LIMIT 20,20;

注意SQL語句里面的ASC和DESC,如果是ASC取出來的結(jié)果,顯示的時(shí)候記得倒置一下。

整體來說在面對(duì)百萬級(jí)數(shù)據(jù)的時(shí)候如果使用上面第三種方法來優(yōu)化,系統(tǒng)性能上是能夠得到很好的提升,在遇到復(fù)雜的查詢時(shí)也盡量簡化,減少運(yùn)算量。 同時(shí)也盡量多的使用內(nèi)存緩存,有條件的可以考慮分表、分庫、陣列之類的大型解決方案了。

本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊舉報(bào)。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
mysql LIMIT 子句用法及原理
MySQL的大分頁查詢?cè)撊绾蝺?yōu)化?
那些年我們一起優(yōu)化的SQL
MySQL 百萬級(jí)數(shù)據(jù)量分頁查詢方法及其優(yōu)化
關(guān)于Oracle、MySQL、SqlServer三個(gè)庫的分頁SQL的小總結(jié)
Mysql查詢語句進(jìn)階知識(shí)集錦
更多類似文章 >>
生活服務(wù)
分享 收藏 導(dǎo)長圖 關(guān)注 下載文章
綁定賬號(hào)成功
后續(xù)可登錄賬號(hào)暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服