在進行MySQL的優(yōu)化之前,必須要了解的就是MySQL的查詢過程,很多查詢優(yōu)化工作實際上就是遵循一些原則,讓MySQL的優(yōu)化器能夠按照預想的合理方式運行而已。
圖-MySQL查詢過程
注:優(yōu)化有風險,涉足需謹慎
a.優(yōu)化可能帶來的問題?
· 優(yōu)化不總是對一個單純的環(huán)境進行,還很可能是一個復雜的已投產(chǎn)的系統(tǒng);
· 優(yōu)化手段本來就有很大的風險,只不過你沒能力意識到和預見到;
· 任何的技術(shù)可以解決一個問題,但必然存在帶來一個問題的風險;
· 對于優(yōu)化來說解決問題而帶來的問題,控制在可接受的范圍內(nèi)才是有成果;
· 保持現(xiàn)狀或出現(xiàn)更差的情況都是失敗!
b.優(yōu)化的需求?
· 穩(wěn)定性和業(yè)務(wù)可持續(xù)性,通常比性能更重要;
· 優(yōu)化不可避免涉及到變更,變更就有風險;
· 優(yōu)化使性能變好,維持和變差是等概率事件;
· 切記優(yōu)化,應(yīng)該是各部門協(xié)同,共同參與的工作,任何單一部門都不能對數(shù)據(jù)庫進行優(yōu)化!
所以優(yōu)化工作,是由業(yè)務(wù)需要驅(qū)使的!
c.優(yōu)化由誰參與?
在進行數(shù)據(jù)庫優(yōu)化時,應(yīng)由數(shù)據(jù)庫管理員、業(yè)務(wù)部門代表、應(yīng)用程序架構(gòu)師、應(yīng)用程序設(shè)計人員、應(yīng)用程序開發(fā)人員、硬件及系統(tǒng)管理員、存儲管理員等,業(yè)務(wù)相關(guān)人員共同參與。
a.優(yōu)化什么?
在數(shù)據(jù)庫優(yōu)化上有兩個主要方面:即安全與性能。
· 安全->數(shù)據(jù)可持續(xù)性;
· 性能->數(shù)據(jù)的高性能訪問。
b.優(yōu)化的范圍有哪些?
存儲、主機和操作系統(tǒng)方面:
· 主機架構(gòu)穩(wěn)定性;
· I/O規(guī)劃及配置;
· Swap交換分區(qū);
· OS內(nèi)核參數(shù)和網(wǎng)絡(luò)問題。
應(yīng)用程序方面:
· 應(yīng)用程序穩(wěn)定性;
· SQL語句性能;
· 串行訪問資源;
· 性能欠佳會話管理;
· 這個應(yīng)用適不適合用MySQL。
數(shù)據(jù)庫優(yōu)化方面:
· 內(nèi)存;
· 數(shù)據(jù)庫結(jié)構(gòu)(物理&邏輯);
· 實例配置。
說明:不管是設(shè)計系統(tǒng)、定位問題還是優(yōu)化,都可以按照這個順序執(zhí)行。
c.優(yōu)化維度?
數(shù)據(jù)庫優(yōu)化維度有四個:
硬件、系統(tǒng)配置、數(shù)據(jù)庫表結(jié)構(gòu)、SQL及索引。
優(yōu)化選擇:
· 優(yōu)化成本:硬件>系統(tǒng)配置>數(shù)據(jù)庫表結(jié)構(gòu)>SQL及索引。
· 優(yōu)化效果:硬件<系統(tǒng)配置<數(shù)據(jù)庫表結(jié)構(gòu)<SQL及索引。
a.數(shù)據(jù)庫層面?
檢查問題常用工具:
不常用但好用的工具:
關(guān)于Zabbix參考:
b.數(shù)據(jù)庫層面問題解決思路?
一般應(yīng)急調(diào)優(yōu)的思路:針對突然的業(yè)務(wù)辦理卡頓,無法進行正常的業(yè)務(wù)處理,需要立馬解決的場景。
常規(guī)調(diào)優(yōu)思路:針對業(yè)務(wù)周期性的卡頓,例如在每天10-11點業(yè)務(wù)特別慢,但是還能夠使用,過了這段時間就好了。
c.系統(tǒng)層面?
Cpu方面:
內(nèi)存:
IO設(shè)備(磁盤、網(wǎng)絡(luò)):
vmstat命令說明:
iostat命令說明:
d.系統(tǒng)層面問題解決辦法?
你認為到底負載高好,還是低好呢?在實際的生產(chǎn)中,一般認為Cpu只要不超過90%都沒什么問題。
當然不排除下面這些特殊情況:
Cpu負載高,IO負載低:
IO負載高,Cpu負載低:
IO和cpu負載都很高:
4.基礎(chǔ)優(yōu)化
a.優(yōu)化思路?
定位問題點吮吸:硬件-->系統(tǒng)-->應(yīng)用-->數(shù)據(jù)庫-->架構(gòu)(高可用、讀寫分離、分庫分表)。
處理方向:明確優(yōu)化目標、性能和安全的折中、防患未然。
b.硬件優(yōu)化?
主機方面:
CPU的選擇:
內(nèi)存的選擇:
存儲方面:
網(wǎng)絡(luò)設(shè)備方面:
注意:以上這些規(guī)劃應(yīng)該在初始設(shè)計系統(tǒng)時就應(yīng)該考慮好。
c.服務(wù)器硬件優(yōu)化?
d.系統(tǒng)優(yōu)化?
Cpu:
內(nèi)存:
SWAP:
IO :
Swap調(diào)整(不使用swap分區(qū))
這個參數(shù)決定了Linux是傾向于使用swap,還是傾向于釋放文件系統(tǒng)cache。在內(nèi)存緊張的情況下,數(shù)值越低越傾向于釋放文件系統(tǒng)cache。
當然,這個參數(shù)只能減少使用swap的概率,并不能避免Linux使用swap。
修改MySQL的配置參數(shù)innodb_flush_ method,開啟O_DIRECT模式:
這種情況下,InnoDB的buffer pool會直接繞過文件系統(tǒng)cache來訪問磁盤,但是redo log依舊會使用文件系統(tǒng)cache。
值得注意的是,Redo log是覆寫模式的,即使使用了文件系統(tǒng)的cache,也不會占用太多。
IO調(diào)度策略:
永久修改
e.系統(tǒng)參數(shù)調(diào)整?
Linux系統(tǒng)內(nèi)核參數(shù)優(yōu)化:
用戶限制參數(shù)(MySQL可以不設(shè)置以下配置):
f.應(yīng)用優(yōu)化?
業(yè)務(wù)應(yīng)用和數(shù)據(jù)庫應(yīng)用獨立;
防火墻:iptables、selinux等其他無用服務(wù)(關(guān)閉):
安裝圖形界面的服務(wù)器不要啟動圖形界面runlevel 3。
另外,思考將來我們的業(yè)務(wù)是否真的需要MySQL,還是使用其他種類的數(shù)據(jù)庫。用數(shù)據(jù)庫的最高境界就是不用數(shù)據(jù)庫。
SQL優(yōu)化方向:執(zhí)行計劃、索引、SQL改寫。
架構(gòu)優(yōu)化方向:高可用架構(gòu)、高性能架構(gòu)、分庫分表。
a.數(shù)據(jù)庫參數(shù)優(yōu)化?
調(diào)整
實例整體(高級優(yōu)化,擴展):
連接層(基礎(chǔ)優(yōu)化)
設(shè)置合理的連接客戶和連接方式:
SQL層(基礎(chǔ)優(yōu)化)
b.存儲引擎層(innodb基礎(chǔ)優(yōu)化參數(shù))?
歡迎工作一到五年的Java工程師朋友們加入Java填坑之路:860113481
群內(nèi)提供免費的Java架構(gòu)學習資料(里面有高可用、高并發(fā)、高性能及分布式、Jvm性能調(diào)優(yōu)、Spring源碼,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構(gòu)資料)合理利用自己每一分每一秒的時間來學習提升自己,不要再用'沒有時間“來掩飾自己思想上的懶惰!趁年輕,使勁拼,給未來的自己一個交代!