Redis是什么不管你是從事Python、Java、Go、PHP、Ruby等等......Redis都應(yīng)該是一個比較熟悉的中間件。而大部分經(jīng)常寫業(yè)務(wù)代碼的程序員,實際工作中或許只用到了set value、GetValue兩個操作,而對Redis缺乏一個整體的認(rèn)識。今天就來對Redis的常見問題做一個總結(jié)。希望能夠幫助到大家。
Redis是一個開源的底層使用C語言編寫的Key-Value存儲數(shù)據(jù)庫??捎糜诰彺?、事件發(fā)布訂閱、高速隊列等場景。而且支持豐富的數(shù)據(jù)類型:string(字符串)、Hash(哈希)、List(列表)、Set(無序集合)、Zset(sorted set:有序集合)。
Redis在項目中的應(yīng)用場景:
1、緩存數(shù)據(jù)
最常用,對經(jīng)常需要查詢且變動不是很頻繁的數(shù)據(jù) 常稱作熱點數(shù)據(jù)。
2、消息隊列
相當(dāng)于消息訂閱系統(tǒng),比如ActiveMQ、RocketMQ。如果對數(shù)據(jù)有較高一致性要求時,還是建議使用MQ。
3、計數(shù)器
比如統(tǒng)計點擊率、點贊率,Redis具有原子性,可以避免并發(fā)問題。
4、電商網(wǎng)站信息
大型電商平臺初始化頁面數(shù)據(jù)的緩存。比如去哪兒網(wǎng)購買機(jī)票的時候首頁的價格和你點進(jìn)去的價格會有差異。
5、熱點數(shù)據(jù)
比如新聞網(wǎng)站實時熱點、微博熱搜等,需要頻繁更新。總數(shù)據(jù)量比較大的時候直接從數(shù)據(jù)庫查詢會影響性能。
給個愛的理由
在單節(jié)點服務(wù)器我們通常是這樣的。
隨著企業(yè)的發(fā)展、業(yè)務(wù)的擴(kuò)展。面對海量的數(shù)據(jù),直接使用MySQL會導(dǎo)致性能下降,數(shù)據(jù)的讀寫也會非常慢。于是我們就可以搭配緩存來處理海量數(shù)據(jù)。
于是現(xiàn)在我們是這樣的:
上圖只是簡述了緩存的作用,當(dāng)數(shù)據(jù)繼續(xù)增大我們需要利用主從復(fù)制技術(shù)來達(dá)到讀寫分離。
數(shù)據(jù)庫層直接與緩存進(jìn)行交互,如果緩存中有數(shù)據(jù)直接返回客戶端,如果沒有才會從MySQL中去查詢。從而減小了數(shù)據(jù)庫的壓力,提升了效率。
平時發(fā)布了一款新手機(jī),會有搶購活動。同一時間段,服務(wù)端會收到很多的下單請求。
我們需要使用Redis的原子操作來實現(xiàn)這個“單線程”。首先我們把庫存存在一個列表中,假設(shè)有10件庫存,就往列表中push10個數(shù),這個數(shù)沒有實際意義,僅僅只是代表10件庫存。
搶購開始后,每到來一個用戶,就從列表中POP一個數(shù),表示用戶搶購成功。當(dāng)列表為空時,表示已經(jīng)被搶光了。因為列表的POP操作是原子的,即使有很多用戶同時到達(dá),也是依次執(zhí)行的。
題外話:還有的搶購是直接在前端頁面限制請求,這些請求直接被前端攔截,并沒有到后端服務(wù)器。
Redis為什么會這么快?
1、Redis是純內(nèi)存操作,需要的時候需要我們手動持久化到硬盤中。
2、Redis是單線程,從而避開了多線程中上下文頻繁切換的操作。
3、Redis數(shù)據(jù)結(jié)構(gòu)簡單、對數(shù)據(jù)的操作也比較簡單。
4、使用底層模型不同,它們之間底層實現(xiàn)方式以及與客戶端之間通信的應(yīng)用協(xié)議不一樣,Redis直接自己構(gòu)建了VM機(jī)制 ,因為一般的系統(tǒng)調(diào)用系統(tǒng)函數(shù)的話,會浪費一定的時間去移動和請求
5、使用多路I/O復(fù)用模型,非阻塞I/O。
多路I/O復(fù)用
I/O多路復(fù)用技術(shù),是為了解決進(jìn)程或線程阻塞到某個I/O系統(tǒng)調(diào)用而出現(xiàn)的技術(shù),可以監(jiān)視多個描述符,一旦某個描述符就緒(一般是讀就緒或者寫就緒,就是這個文件描述符進(jìn)行讀寫操作之前),能夠通知程序進(jìn)行相應(yīng)的讀寫操作。
Redis數(shù)據(jù)類型應(yīng)用場景
前面提到了Redis支持五種豐富的數(shù)據(jù)類型,那么在不同場景下我們該怎么選擇呢?
String
字符串是最常用的數(shù)據(jù)類型,他能夠存儲任何類型的字符串,當(dāng)然也包括二進(jìn)制、JSON化的對象、甚至是Base64編碼之后的圖片。在Redis中一個字符串最大的容量為512MB,可以說是無所不能了。
Hash
常用作存儲結(jié)構(gòu)化數(shù)據(jù)、比如論壇系統(tǒng)中可以用來存儲用戶的ID、昵稱、頭像、積分等信息。如果需要修改其中的信息,只需要通過Key取出Value進(jìn)行反序列化修改某一項的值,再序列化存儲到Redis中。
對于Hash結(jié)構(gòu)存儲,由于Hash結(jié)構(gòu)會在單個Hash元素在不足一定數(shù)量時進(jìn)行壓縮存儲,所以可以大量節(jié)約內(nèi)存。這一點在String結(jié)構(gòu)里是不存在的。
List
List的實現(xiàn)為一個雙向鏈表,即可以支持反向查找和遍歷,更方便操作,不過帶來了部分額外的內(nèi)存開銷,Redis內(nèi)部的很多實現(xiàn),包括發(fā)送緩沖隊列等也都是用的這個數(shù)據(jù)結(jié)構(gòu)。另外,可以利用lrange命令,做基于Redis的分頁功能,性能極佳,用戶體驗好。
Set
set對外提供的功能與List類似是一個列表的功能,特殊之處在于set是可以自動排重的,當(dāng)你需要存儲一個列表數(shù)據(jù),又不希望出現(xiàn)重復(fù)數(shù)據(jù)時,這個時候就可以選擇使用set。
Sorted Set
可以按照某個條件的權(quán)重進(jìn)行排序,比如可以通過點擊數(shù)做出排行榜的數(shù)據(jù)應(yīng)用。
Redis緩存的數(shù)據(jù)一致性
真正意義上來講數(shù)據(jù)庫的數(shù)據(jù)和緩存的數(shù)據(jù)是不可能一致的,數(shù)據(jù)分為最終一致和強(qiáng)一致兩類。如果業(yè)務(wù)中對數(shù)據(jù)的要求必須強(qiáng)一致那么就不能使用緩存。緩存能做的只能保證數(shù)據(jù)的最終一致性。
我們能做的只能是盡可能地保證數(shù)據(jù)的一致性。不管是先刪庫再刪緩存還是先刪緩存再刪庫,都可能出現(xiàn)數(shù)據(jù)不一致的情況,因為讀和寫操作是并發(fā)的,我們沒辦法保證他們的先后順序。具體應(yīng)對策略還是要根據(jù)業(yè)務(wù)需求來定,這里就不贅述了。
Redis的過期和內(nèi)存淘汰
Redis存儲數(shù)據(jù)時我們可以設(shè)置他的過期時間。但是這個Key是怎么刪除的呢?
一開始我認(rèn)為是定時刪除,后來發(fā)現(xiàn)并不是這樣,因為如果定時刪除,需要一個定時器來不斷地負(fù)責(zé)監(jiān)控這個Key,雖然內(nèi)存釋放了,但是非常消耗CPU資源。
Redis過期刪除采用的是定期刪除,默認(rèn)是每100ms檢測一次,遇到過期的Key則進(jìn)行刪除,這里的檢測并不是順序檢測,而是隨機(jī)檢測。
那這樣會不會有漏網(wǎng)之魚?顯然Redis也考慮到了這一點,當(dāng)我們?nèi)プx/寫一個已經(jīng)過期的Key時,會觸發(fā)Redis的惰性刪除策略,直接回干掉過期的Key。
內(nèi)存淘汰是指用戶存儲的一部分Key是可以被Redis自動的刪除,從而會出現(xiàn)從緩存中查不到數(shù)據(jù)的情況。加入我們的服務(wù)器內(nèi)存為2G、但是隨著業(yè)務(wù)的發(fā)展緩存的數(shù)據(jù)已經(jīng)超過2G了。
但是這并不影響我們程序的運行,因為操作系統(tǒng)的可見內(nèi)存并不受物理內(nèi)存的限制。物理內(nèi)存不夠用沒關(guān)系,計算機(jī)會從硬盤中劃出一片空間來作為虛擬內(nèi)存。這就是Redis設(shè)計兩種應(yīng)用場景的初衷:緩存、持久存儲。
緩存擊穿
緩存只是為了緩解數(shù)據(jù)庫壓力而添加的一層保護(hù)層,當(dāng)從緩存中查詢不到我們需要的數(shù)據(jù)就要去數(shù)據(jù)庫中查詢了。如果被黑客利用,頻繁去訪問緩存中沒有的數(shù)據(jù),那么緩存就失去了存在的意義,瞬間所有請求的壓力都落在了數(shù)據(jù)庫上,這樣會導(dǎo)致數(shù)據(jù)庫連接異常。
解決方案:
1、后臺設(shè)置定時任務(wù),主動地去更新緩存數(shù)據(jù)。這種方案容易理解,但是當(dāng)Key比較分散的時候,操作起來還是比較復(fù)雜的。
2、分級緩存。比如設(shè)置兩層緩存保護(hù)層,1級緩存失效時間短,2級緩存失效時間長。有請求過來優(yōu)先從1級緩存中去查找,如果在1級緩存中沒有找到相應(yīng)數(shù)據(jù),則對該線程進(jìn)行加鎖,這個線程再從數(shù)據(jù)庫中取到數(shù)據(jù),更新至1級和2級緩存。其他線程則直接從2級線程中獲取。
3、提供一個攔截機(jī)制,內(nèi)部維護(hù)一系列合法的Key值。當(dāng)請求的Key不合法時,直接返回。
緩存雪崩
緩存雪崩就是指緩存由于某些原因(比如宕機(jī)、Cache服務(wù)掛了或者不響應(yīng))整體Crash掉了,導(dǎo)致大量請求到達(dá)后端數(shù)據(jù)庫,從而導(dǎo)致數(shù)據(jù)庫崩潰,整個系統(tǒng)崩潰、發(fā)生災(zāi)難,也就是上面提到的緩存擊穿。
作者:初一,曾在知名互聯(lián)網(wǎng)公司擔(dān)任Java研發(fā)一職,項目帶頭人。2018年中旬轉(zhuǎn)行Python,熱愛爬蟲喜歡折騰新東西。Coding與樂趣同在。Talk is cheap,Show me the code。