文章已收錄Github精選,歡迎Star:https://github.com/yehongzhi/learningSummary
在很多項(xiàng)目,特別是互聯(lián)網(wǎng)項(xiàng)目,在使用MySQL時都會采用主從復(fù)制、讀寫分離的架構(gòu)。
為什么要采用主從復(fù)制讀寫分離的架構(gòu)?如何實(shí)現(xiàn)?有什么缺點(diǎn)?讓我們帶著這些問題開始這段學(xué)習(xí)之旅吧!
主從復(fù)制、讀寫分離一般是一起使用的。目的很簡單,就是為了提高數(shù)據(jù)庫的并發(fā)性能。你想,假設(shè)是單機(jī),讀寫都在一臺MySQL上面完成,性能肯定不高。如果有三臺MySQL,一臺mater只負(fù)責(zé)寫操作,兩臺salve只負(fù)責(zé)讀操作,性能不就能大大提高了嗎?
所以主從復(fù)制、讀寫分離就是為了數(shù)據(jù)庫能支持更大的并發(fā)。
隨著業(yè)務(wù)量的擴(kuò)展、如果是單機(jī)部署的MySQL,會導(dǎo)致I/O頻率過高。采用主從復(fù)制、讀寫分離可以提高數(shù)據(jù)庫的可用性。
①當(dāng)Master節(jié)點(diǎn)進(jìn)行insert、update、delete操作時,會按順序?qū)懭氲絙inlog中。
②salve從庫連接master主庫,Master有多少個slave就會創(chuàng)建多少個binlog dump線程。
③當(dāng)Master節(jié)點(diǎn)的binlog發(fā)生變化時,binlog dump 線程會通知所有的salve節(jié)點(diǎn),并將相應(yīng)的binlog內(nèi)容推送給slave節(jié)點(diǎn)。
④I/O線程接收到 binlog 內(nèi)容后,將內(nèi)容寫入到本地的 relay-log。
⑤SQL線程讀取I/O線程寫入的relay-log,并且根據(jù) relay-log 的內(nèi)容對從數(shù)據(jù)庫做對應(yīng)的操作。
我這里用三臺虛擬機(jī)(Linux)演示,IP分別是104(Master),106(Slave),107(Slave)。
預(yù)期的效果是一主二從,如下圖所示:
使用命令行進(jìn)入mysql:
mysql -u root -p
接著輸入root用戶的密碼(密碼忘記的話就網(wǎng)上查一下重置密碼吧~),然后創(chuàng)建用戶:
//192.168.0.106是slave從機(jī)的IPGRANT REPLICATION SLAVE ON *.* to 'root'@'192.168.0.106' identified by 'Java@1234';//192.168.0.107是slave從機(jī)的IPGRANT REPLICATION SLAVE ON *.* to 'root'@'192.168.0.107' identified by 'Java@1234';//刷新系統(tǒng)權(quán)限表的配置FLUSH PRIVILEGES;
創(chuàng)建的這兩個用戶在配置slave從機(jī)時要用到。
接下來再找到mysql的配置文件/etc/my.cnf,增加以下配置:
# 開啟binloglog-bin=mysql-binserver-id=104# 需要同步的數(shù)據(jù)庫,如果不配置則同步全部數(shù)據(jù)庫binlog-do-db=test_db# binlog日志保留的天數(shù),清除超過10天的日志# 防止日志文件過大,導(dǎo)致磁盤空間不足expire-logs-days=10
配置完成后,重啟mysql:
service mysql restart
可以通過命令行show master status\G;查看當(dāng)前binlog日志的信息(后面有用):
Slave配置相對簡單一點(diǎn)。從機(jī)肯定也是一臺MySQL服務(wù)器,所以和Master一樣,找到/etc/my.cnf配置文件,增加以下配置:
# 不要和其他mysql服務(wù)id重復(fù)即可server-id=106
接著使用命令行登錄到mysql服務(wù)器:
mysql -u root -p
然后輸入密碼登錄進(jìn)去。
進(jìn)入到mysql后,再輸入以下命令:
CHANGE MASTER TO MASTER_HOST='192.168.0.104',//主機(jī)IPMASTER_USER='root',//之前創(chuàng)建的用戶賬號MASTER_PASSWORD='Java@1234',//之前創(chuàng)建的用戶密碼MASTER_LOG_FILE='mysql-bin.000001',//master主機(jī)的binlog日志名稱MASTER_LOG_POS=862,//binlog日志偏移量master_port=3306;//端口
還沒完,設(shè)置完之后需要啟動:
# 啟動slave服務(wù)start slave;
啟動完之后怎么校驗(yàn)是否啟動成功呢?使用以下命令:
show slave status\G;
可以看到如下信息(摘取部分關(guān)鍵信息):
*************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 192.168.0.104 Master_User: root Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000001 Read_Master_Log_Pos: 619 Relay_Log_File: mysqld-relay-bin.000001 Relay_Log_Pos: 782 Relay_Master_Log_File: mysql-bin.000001 //binlog日志文件名稱 Slave_IO_Running: Yes //Slave_IO線程、SQL線程都在運(yùn)行 Slave_SQL_Running: Yes Master_Server_Id: 104 //master主機(jī)的服務(wù)id Master_UUID: 0ab6b3a6-e21d-11ea-aaa3-080027f8d623 Master_Info_File: /var/lib/mysql/master.info SQL_Delay: 0 SQL_Remaining_Delay: NULL Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it Master_Retry_Count: 86400 Auto_Position: 0
另一臺slave從機(jī)配置一樣,不再贅述。
在master主機(jī)執(zhí)行sql:
CREATE TABLE `tb_commodity_info` ( `id` varchar(32) NOT NULL, `commodity_name` varchar(512) DEFAULT NULL COMMENT '商品名稱', `commodity_price` varchar(36) DEFAULT '0' COMMENT '商品價格', `number` int(10) DEFAULT '0' COMMENT '商品數(shù)量', `description` varchar(2048) DEFAULT '' COMMENT '商品描述', PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='商品信息表';
接著我們可以看到兩臺slave從機(jī)同步也創(chuàng)建了商品信息表:
主從復(fù)制就完成了!java技術(shù)愛好者有點(diǎn)東西哦~
主從復(fù)制完成后,我們還需要實(shí)現(xiàn)讀寫分離,master負(fù)責(zé)寫入數(shù)據(jù),兩臺slave負(fù)責(zé)讀取數(shù)據(jù)。怎么實(shí)現(xiàn)呢?
實(shí)現(xiàn)的方式有很多,以前我公司是采用AOP的方式,通過方法名判斷,方法名中有g(shù)et、select、query開頭的則連接slave,其他的則連接master數(shù)據(jù)庫。
但是通過AOP的方式實(shí)現(xiàn)起來代碼有點(diǎn)繁瑣,有沒有什么現(xiàn)成的框架呢,答案是有的。
Apache ShardingSphere 是一套開源的分布式數(shù)據(jù)庫中間件解決方案組成的生態(tài)圈,它由 JDBC、Proxy兩部分組成。
ShardingSphere-JDBC定位為輕量級 Java 框架,在 Java 的 JDBC 層提供的額外服務(wù)。 它使用客戶端直連數(shù)據(jù)庫,以 jar 包形式提供服務(wù),無需額外部署和依賴,可理解為增強(qiáng)版的 JDBC 驅(qū)動,完全兼容 JDBC 和各種 ORM 框架。
讀寫分離就可以使用ShardingSphere-JDBC實(shí)現(xiàn)。
下面演示一下SpringBoot+Mybatis+Mybatis-plus+druid+ShardingSphere-JDBC代碼實(shí)現(xiàn)。
版本說明:
SpringBoot:2.0.1.RELEASEdruid:1.1.22mybatis-spring-boot-starter:1.3.2mybatis-plus-boot-starter:3.0.7sharding-jdbc-spring-boot-starter:4.1.1
添加sharding-jdbc的maven配置:
<dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>4.1.1</version></dependency>
然后在application.yml添加配置:
# 這是使用druid連接池的配置,其他的連接池配置可能有所不同spring: shardingsphere: datasource: names: master,slave0,slave1 master: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://192.168.0.108:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT username: yehongzhi password: YHZ@1234 slave0: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://192.168.0.109:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT username: yehongzhi password: YHZ@1234 slave1: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://192.168.0.110:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT username: yehongzhi password: YHZ@1234 props: sql.show: true masterslave: load-balance-algorithm-type: round_robin sharding: master-slave-rules: master: master-data-source-name: master slave-data-source-names: slave0,slave1
sharding.master-slave-rules是標(biāo)明主庫和從庫,一定不要寫錯,否則寫入數(shù)據(jù)到從庫,就會導(dǎo)致無法同步。
load-balance-algorithm-type是路由策略,round_robin表示輪詢策略。
啟動項(xiàng)目,可以看到以下信息,代表配置成功:
編寫Controller接口:
/** * 添加商品 * * @param commodityName 商品名稱 * @param commodityPrice 商品價格 * @param description 商品價格 * @param number 商品數(shù)量 * @return boolean 是否添加成功 * @author java技術(shù)愛好者 */ @PostMapping('/insert') public boolean insertCommodityInfo(@RequestParam(name = 'commodityName') String commodityName, @RequestParam(name = 'commodityPrice') String commodityPrice, @RequestParam(name = 'description') String description, @RequestParam(name = 'number') Integer number) throws Exception { return commodityInfoService.insertCommodityInfo(commodityName, commodityPrice, description, number); }
準(zhǔn)備就緒,開始測試!
打開POSTMAN,添加商品:
控制臺可以看到如下信息:
查詢數(shù)據(jù)的話則通過slave進(jìn)行:
就是這么簡單!
盡管主從復(fù)制、讀寫分離能很大程度保證MySQL服務(wù)的高可用和提高整體性能,但是問題也不少:
可能有人會問,有沒有事務(wù)問題呢?
實(shí)際上這個框架已經(jīng)想到了,我們看回之前的那個截圖,有一句話是這樣的:
我是java技術(shù)愛好者,羅定的java精英,人稱 【羅ja英】
堅(jiān)持原創(chuàng),持續(xù)輸出兼具廣度和深度的技術(shù)文章。
上面所有例子的代碼都上傳Github了:
https://github.com/yehongzhi/mall
你的點(diǎn)贊是我創(chuàng)作的最大動力~
拒絕做一條咸魚,我是一個努力讓大家記住的程序員。我們下期再見?。?!