碼農(nóng)少閑月,五月人倍忙!Sharding-Sphere在經(jīng)歷公投改名、新官網(wǎng)上線、版權(quán)轉(zhuǎn)移等一系列重大變革后,終于迎來了它的3.X新時代!從Sharding-JDBC到Sharding-Sphere,老鐵粉陪它一同走過,新朋友也在陸續(xù)加入。Sharding-Sphere是什么?做什么?做的如何?三大經(jīng)典提問幫助新老朋友一同溫故知新。
Sharding-Sphere是什么?
Sharding-Sphere是一套開源的分布式數(shù)據(jù)庫中間件解決方案組成的生態(tài)圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar這3款相互獨立的產(chǎn)品組成。他們均提供標準化的數(shù)據(jù)分片、讀寫分離、柔性事務(wù)和數(shù)據(jù)治理功能,可適用于如Java同構(gòu)、異構(gòu)語言、容器、云原生等各種多樣化的應(yīng)用場景。
Sharding-Sphere定位為關(guān)系型數(shù)據(jù)庫中間件,旨在充分合理地在分布式的場景下利用關(guān)系型數(shù)據(jù)庫的計算和存儲能力,而并非實現(xiàn)一個全新的關(guān)系型數(shù)據(jù)庫。它與NoSQL和NewSQL是并存而非互斥的關(guān)系。NoSQL和NewSQL作為新技術(shù)探索的前沿,是非常值得推薦的。而Sharding-Sphere關(guān)注未來不變的東西,進而抓住事物本質(zhì)。關(guān)系型數(shù)據(jù)庫當今依然占有巨大市場,是各個公司核心業(yè)務(wù)的基石,我們目前階段更加關(guān)注在原有基礎(chǔ)上的增量,而非顛覆。其架構(gòu)如下圖所示:
Sharding-Sphere家族都有誰?
Sharding-JDBC, Sharding-Proxy以及Sharding-Sidecar 共同組成了Sharding-Sphere。他們分別定位、適用于不同的應(yīng)用場景。您也可以將他們組合使用以得到增益的性能表現(xiàn)。
1. Sharding-JDBC
Sharding-JDBC是Sharding-Sphere的第一個產(chǎn)品,也是Sharding-Sphere的前身。 它定位為輕量級Java框架,在Java的JDBC層提供分庫分表、讀寫分離、數(shù)據(jù)庫治理、柔性事務(wù)等服務(wù)。它使用客戶端直連數(shù)據(jù)庫,以jar包形式提供服務(wù),無需額外部署和依賴,可理解為增強版的JDBC驅(qū)動,完全兼容JDBC和各種ORM框架。
2. Sharding-Proxy
Sharding-Proxy是Sharding-Sphere的第二個產(chǎn)品。 它定位為透明化的數(shù)據(jù)庫代理端,提供封裝了數(shù)據(jù)庫二進制協(xié)議的服務(wù)端版本,用于完成對異構(gòu)語言的支持。 Sharding-Proxy屏蔽了底層的分庫分表,您可以像使用一個簡單的數(shù)據(jù)庫一樣來操作分庫分表的數(shù)據(jù)。目前提供MySQL版本,它可以使用任何兼容MySQL協(xié)議的訪問客戶端(如:MySQL Command Client, MySQL Workbench等)來訪問Sharding-Proxy,進而進行DDL/DML等操作來變更數(shù)據(jù),對DBA更加友好。
3. Mixed scheme of Sharding-JDBC & Sharding-Proxy
為了得到更好的性能以及友好的交互體驗,您可以同時使用Sharding-JDBC和Sharding-Proxy。
線上應(yīng)用使用Sharding-JDBC直連數(shù)據(jù)庫以獲取最優(yōu)性能,使用MySQL命令行或UI客戶端連接Sharding-Proxy方便的查詢數(shù)據(jù)和執(zhí)行各種DDL語句。它們使用同一個注冊中心集群,通過管理端配置注冊中心中的數(shù)據(jù),即可由注冊中心自動將配置變更推送至JDBC和Proxy應(yīng)用。若數(shù)據(jù)庫拆分的過多而導(dǎo)致連接數(shù)會暴漲,則可以考慮直接在線上使用Sharding-Proxy,以達到有效控制連接數(shù)的目的。其架構(gòu)如下如所示:
4. Sharding-Sidecar
Sharding-Sidecar是Sharding-Sphere的第三個產(chǎn)品,目前仍處在孵化中。 定位為Kubernetes或Mesos的云原生數(shù)據(jù)庫代理。其核心思想是Database Mesh,即通過無中心、零侵入的方案提供與數(shù)據(jù)庫交互的嚙合層。關(guān)注重點在于如何將分布式的數(shù)據(jù)訪問應(yīng)用與數(shù)據(jù)庫有機串聯(lián)起來。
Sharding-Sphere的功能特性
1. 分庫分表
為解決關(guān)系型數(shù)據(jù)庫面對海量數(shù)據(jù)由于數(shù)據(jù)量過大而導(dǎo)致的性能問題,將數(shù)據(jù)進行分片是行之有效的解決方案,而將集中于單一節(jié)點的數(shù)據(jù)拆分并分別存儲到多個數(shù)據(jù)庫或表,稱為分庫分表。作為分布式數(shù)據(jù)庫中間件,我們的目標是透明化分庫分表所帶來的影響,讓使用方盡量像使用一個數(shù)據(jù)庫一樣使用水平拆分之后的數(shù)據(jù)庫。
2. 讀寫分離
面對日益增加的系統(tǒng)訪問量,數(shù)據(jù)庫的吞吐量面臨著巨大瓶頸。 對于同一時間有大量并發(fā)讀操作和較少寫操作類型的應(yīng)用系統(tǒng)來說,將單一的數(shù)據(jù)庫拆分為主庫和從庫,主庫負責處理事務(wù)性的增刪改操作,從庫負責處理查詢操作,能夠有效的避免由數(shù)據(jù)更新導(dǎo)致的行鎖,使得整個系統(tǒng)的查詢性能得到極大的改善。透明化讀寫分離所帶來的影響,讓使用方盡量像使用一個數(shù)據(jù)庫一樣使用主從數(shù)據(jù)庫,是讀寫分離中間件的主要功能。
3. 柔性事務(wù)
對于分布式的數(shù)據(jù)庫來說,強一致性分布式事務(wù)在性能方面存在明顯不足。追求最終一致性的柔性事務(wù),在性能和一致性上則顯得更加平衡。 Sharding-Sphere目前支持最大努力送達型柔性事務(wù),未來也將支持TCC柔性事務(wù)。若不使用柔性事務(wù),Sharding-Sphere也會自動包含弱XA事務(wù)支持。
4. 數(shù)據(jù)治理
Sharding-Sphere提供注冊中心、配置動態(tài)化、數(shù)據(jù)庫熔斷禁用、調(diào)用鏈路等治理能力。
Sharding-Sphere 3.X新功能
Sharding-Proxy MySQL版本上線,支持DML/DDL/DAL/DQL等基本 SQL。屏蔽底層所有分庫分表,可像使用單一MySQL數(shù)據(jù)庫一樣處理分庫分表數(shù)據(jù)。
新增對OR SQL語句的支持,例如:select * from t_order where (id>10 and id<20) or="" status="">20)>
新增對INSERT批量插入的支持,例如 insert into t_order(order_id, user_id, status) values (1, 2, ‘init’), (2, 3, ‘init’), (3, 4, ‘init’);
優(yōu)化對INSERT SQL語句的支持,主要包括不指定具體列進行INSERT操作,例如:insert into t_order values(1, 2,‘init’);
增加解析引擎對SQL的緩存,進一步提升解析性能。
Sharding-JDBC新增對InlineExpression占位符$->{}的支持。
新的產(chǎn)品、新的特性、新的優(yōu)化是不是讓你眼前一亮?那就趕快把Sharding-Sphere 3.X用起來吧!
暖心Tips:
① 使用Sharding-JDBC,可加入以下Maven依賴:
② 使用Sharding-Proxy,可在這里下載:
https://github.com/sharding-sphere/sharding-sphere-doc/raw/master/dist/sharding-proxy-3.0.0.M1.tar.gz
此外,我們的DOCKER下載命令如下所示:
docker pull shardingsphere/sharding-proxy
星路歷程
Sharding-Sphere自2016開源以來,不斷精進、不斷發(fā)展,被越來越多的企業(yè)和個人認可:在Github上收獲4000+的star,1700+forks,60+的各大公司企業(yè)使用它,為Sharding-Sphere提供了重要的成功案例。此外,越來越多的企業(yè)伙伴和個人也加入到Sharding-Sphere的開源項目中,為它的成長和發(fā)展貢獻了巨大力量。
未來,我們將不斷優(yōu)化當前的特性,精益求精;同時,大家關(guān)注的柔性事務(wù)、數(shù)據(jù)治理等更多新特性也會陸續(xù)登場。Sharding-Sidecar也將成為云原生的數(shù)據(jù)庫中間件!
愿所有有識之士能加入我們,一同描繪Sharding-Sidecar的新未來!