作者 | 編碼磚家
博主負(fù)責(zé)的項(xiàng)目主要采用阿里云數(shù)據(jù)庫(kù)MySQL，最近頻繁出現(xiàn)慢SQL告警，執(zhí)行時(shí)間最長(zhǎng)的竟然高達(dá)5分鐘。導(dǎo)出日志后分析，主要原因竟然是沒有命中索引和沒有分頁(yè)處理。其實(shí)這是非常低級(jí)的錯(cuò)誤，我不禁后背一涼，團(tuán)隊(duì)成員的技術(shù)水平亟待提高啊。改造這些SQL的過程中，總結(jié)了一些經(jīng)驗(yàn)分享給大家，如果有錯(cuò)誤歡迎批評(píng)指正。
拋開數(shù)據(jù)量和并發(fā)數(shù)，談性能都是耍流氓。MySQL沒有限制單表最大記錄數(shù)，它取決于操作系統(tǒng)對(duì)文件大小的限制。
《阿里巴巴Java開發(fā)手冊(cè)》提出單表行數(shù)超過500萬(wàn)行或者單表容量超過2GB，才推薦分庫(kù)分表。性能由綜合因素決定，拋開業(yè)務(wù)復(fù)雜度，影響程度依次是硬件配置、MySQL配置、數(shù)據(jù)表設(shè)計(jì)、索引優(yōu)化。500萬(wàn)這個(gè)值僅供參考，并非鐵律。微信搜索web_resource 關(guān)注獲取更多推送。
博主曾經(jīng)操作過超過4億行數(shù)據(jù)的單表，分頁(yè)查詢最新的20條記錄耗時(shí)0.6秒，SQL語(yǔ)句大致是select field_1,field_2 from table where id < #{prePageMinId} order by id desc limit 20，prePageMinId是上一頁(yè)數(shù)據(jù)記錄的最小ID。
雖然當(dāng)時(shí)查詢速度還湊合，隨著數(shù)據(jù)不斷增長(zhǎng)，有朝一日必定不堪重負(fù)。分庫(kù)分表是個(gè)周期長(zhǎng)而風(fēng)險(xiǎn)高的大活兒，應(yīng)該盡可能在當(dāng)前結(jié)構(gòu)上優(yōu)化，比如升級(jí)硬件、遷移歷史數(shù)據(jù)等等，實(shí)在沒轍了再分。對(duì)分庫(kù)分表感興趣的同學(xué)可以閱讀分庫(kù)分表的基本思想。
并發(fā)數(shù)是指同一時(shí)刻數(shù)據(jù)庫(kù)能處理多少個(gè)請(qǐng)求，由max_connections和max_user_connections決定。max_connections是指MySQL實(shí)例的最大連接數(shù)，上限值是16384，max_user_connections是指每個(gè)數(shù)據(jù)庫(kù)用戶的最大連接數(shù)。
MySQL會(huì)為每個(gè)連接提供緩沖區(qū)，意味著消耗更多的內(nèi)存。如果連接數(shù)設(shè)置太高硬件吃不消，太低又不能充分利用硬件。一般要求兩者比值超過10%，計(jì)算方法如下：
max_used_connections / max_connections * 100% = 3/100 *100% ≈ 3%
查看最大連接數(shù)與響應(yīng)最大連接數(shù)：
show variables like '%max_connections%';show variables like '%max_user_connections%';
在配置文件my.cnf中修改最大連接數(shù)
[mysqld]max_connections = 100max_used_connections = 20
建議將單次查詢耗時(shí)控制在0.5秒以內(nèi)，0.5秒是個(gè)經(jīng)驗(yàn)值，源于用戶體驗(yàn)的3秒原則。如果用戶的操作3秒內(nèi)沒有響應(yīng)，將會(huì)厭煩甚至退出。響應(yīng)時(shí)間=客戶端UI渲染耗時(shí)+網(wǎng)絡(luò)請(qǐng)求耗時(shí)+應(yīng)用程序處理耗時(shí)+查詢數(shù)據(jù)庫(kù)耗時(shí)，0.5秒就是留給數(shù)據(jù)庫(kù)1/6的處理時(shí)間。
相比NoSQL數(shù)據(jù)庫(kù)，MySQL是個(gè)嬌氣脆弱的家伙。它就像體育課上的女同學(xué)，一點(diǎn)糾紛就和同學(xué)鬧別扭(擴(kuò)容難)，跑兩步就氣喘吁吁(容量小并發(fā)低)，常常身體不適要請(qǐng)假(SQL約束太多)。如今大家都會(huì)搞點(diǎn)分布式，應(yīng)用程序擴(kuò)容比數(shù)據(jù)庫(kù)要容易得多，所以實(shí)施原則是數(shù)據(jù)庫(kù)少干活，應(yīng)用程序多干活。
數(shù)據(jù)類型的選擇原則：更簡(jiǎn)單或者占用空間更小。
相比datetime，timestamp占用更少的空間，以UTC的格式儲(chǔ)存自動(dòng)轉(zhuǎn)換時(shí)區(qū)。
MySQL中字段為NULL時(shí)依然占用空間，會(huì)使索引、索引統(tǒng)計(jì)更加復(fù)雜。從NULL值更新到非NULL無(wú)法做到原地更新，容易發(fā)生索引分裂影響性能。盡可能將NULL值用有意義的值代替，也能避免SQL語(yǔ)句里面包含is not null的判斷。微信搜索web_resource 關(guān)注獲取更多推送。微信搜索web_resource 關(guān)注獲取更多推送。
由于text字段儲(chǔ)存大量數(shù)據(jù)，表容量會(huì)很早漲上去，影響其他字段的查詢性能。建議抽取出來(lái)放在子表里，用業(yè)務(wù)主鍵關(guān)聯(lián)。
合理使用覆蓋索引，如下所示：
select login_name, nick_name from member where login_name = ?
login_name, nick_name兩個(gè)字段建立組合索引，比login_name簡(jiǎn)單索引要更快。
博主小時(shí)候看到魚塘挖開小口子放水，水面有各種漂浮物。浮萍和樹葉總能順利通過出水口，而樹枝會(huì)擋住其他物體通過，有時(shí)還會(huì)卡住，需要人工清理。MySQL就是魚塘，最大并發(fā)數(shù)和網(wǎng)絡(luò)帶寬就是出水口，用戶SQL就是漂浮物。微信搜索web_resource 關(guān)注獲取更多推送。
不帶分頁(yè)參數(shù)的查詢或者影響大量數(shù)據(jù)的update和delete操作，都是樹枝，我們要把它打散分批處理，舉例說明：
業(yè)務(wù)描述：更新用戶所有已過期的優(yōu)惠券為不可用狀態(tài)。
SQL語(yǔ)句：
update status=0 FROM `coupon` WHERE expire_date <= #{currentDate} and status=1;
如果大量?jī)?yōu)惠券需要更新為不可用狀態(tài)，執(zhí)行這條SQL可能會(huì)堵死其他SQL，分批處理偽代碼如下：
int pageNo = 1;int PAGE_SIZE = 100;while(true) {List<Integer> batchIdList = queryList('select id FROM `coupon` WHERE expire_date <= #{currentDate} and status = 1 limit #{(pageNo-1) * PAGE_SIZE},#{PAGE_SIZE}');if (CollectionUtils.isEmpty(batchIdList)) {return;}update('update status = 0 FROM `coupon` where status = 1 and id in #{batchIdList}')pageNo ++;}
通常<>操作符無(wú)法使用索引，舉例如下，查詢金額不為100元的訂單：
select id from orders where amount != 100;
如果金額為100的訂單極少，這種數(shù)據(jù)分布嚴(yán)重不均的情況下，有可能使用索引。鑒于這種不確定性，采用union聚合搜索結(jié)果，改寫方法如下：
(select id from orders where amount > 100)union all(select id from orders where amount < 100 and amount > 0)
在Innodb引擎下or無(wú)法使用組合索引，比如：
select id，product_name from orders where mobile_no = '13421800407' or user_id = 100;
OR無(wú)法命中mobile_no + user_id的組合索引，可采用union，如下所示：
(select id，product_name from orders where mobile_no = '13421800407')union(select id，product_name from orders where user_id = 100);
此時(shí)id和product_name字段都有索引，查詢才最高效。
IN適合主表大子表小，EXIST適合主表小子表大。由于查詢優(yōu)化器的不斷升級(jí)，很多場(chǎng)景這兩者性能差不多一樣了。
嘗試改為join查詢，舉例如下：
select id from orders where user_id in (select id from user where level = 'VIP');
采用JOIN如下所示：
select o.id from orders o left join user u on o.user_id = u.id where u.level = 'VIP';
不做列運(yùn)算
通常在查詢條件列運(yùn)算會(huì)導(dǎo)致索引失效，如下所示：
查詢當(dāng)日訂單
select id from order where date_format(create_time，'%Y-%m-%d') = '2019-07-01';
date_format函數(shù)會(huì)導(dǎo)致這個(gè)查詢無(wú)法使用索引，改寫后：
select id from order where create_time between '2019-07-01 00:00:00' and '2019-07-01 23:59:59';
如果不查詢表中所有的列，避免使用SELECT *，它會(huì)進(jìn)行全表掃描，不能有效利用索引。
like用于模糊查詢，舉個(gè)例子（field已建立索引）：
SELECT column FROM table WHERE field like '%keyword%';
這個(gè)查詢未命中索引，換成下面的寫法：
SELECT column FROM table WHERE field like 'keyword%';
去除了前面的%查詢將會(huì)命中索引，但是產(chǎn)品經(jīng)理一定要前后模糊匹配呢？全文索引fulltext可以嘗試一下，但Elasticsearch才是終極武器。
join的實(shí)現(xiàn)是采用Nested Loop Join算法，就是通過驅(qū)動(dòng)表的結(jié)果集作為基礎(chǔ)數(shù)據(jù)，通過該結(jié)數(shù)據(jù)作為過濾條件到下一個(gè)表中循環(huán)查詢數(shù)據(jù)，然后合并結(jié)果。如果有多個(gè)join，則將前面的結(jié)果集作為循環(huán)數(shù)據(jù)，再次到后一個(gè)表中查詢數(shù)據(jù)。
聯(lián)系客服
