代碼老濕 2019-12-06 11:13:43
java高并發(fā)
1、高并發(fā)情況下，生成分布式全局id策略
2、利用全球唯一UUID生成訂單號優(yōu)缺點
3、基于數(shù)據(jù)庫自增或者序列生成訂單號
4、數(shù)據(jù)庫集群如何考慮數(shù)據(jù)庫自增唯一性
5、基于Redis生成生成全局id策略
6、Twitter的Snowflake算法生成全局id
7、基于Zookeeper生成全局id
高并發(fā)情況下，生成分布式全局id策略
1、注意冪等性且全局唯一性
2、注意安全性，不能被猜疑
3、趨勢遞增性
訂單號命名規(guī)則:比如“業(yè)務(wù)編碼 + 時間戳 + 機(jī)器編號[前4位] + 隨機(jī)4位數(shù) + 毫秒數(shù)”。
利用全球唯一UUID生成訂單號
UUID基本概念:
UUID是指在一臺機(jī)器上生成的數(shù)字，它保證對在同一時空中的所有機(jī)器都是唯一的。
UUID組成部分:當(dāng)前日期和時間+時鐘序列+隨機(jī)數(shù)+全局唯一的IEEE機(jī)器識別號
全局唯一的IEEE機(jī)器識別號:如果有網(wǎng)卡，從網(wǎng)卡MAC地址獲得，沒有網(wǎng)卡以其他方式獲得。
UUID優(yōu)缺點:
優(yōu)點:
簡單，代碼方便
生成ID性能非常好，基本不會有性能問題
全球唯一，在遇見數(shù)據(jù)遷移，系統(tǒng)數(shù)據(jù)合并，或者數(shù)據(jù)庫變更等情況下，可以從容應(yīng)對
缺點:
沒有排序，無法保證趨勢遞增
UUID往往是使用字符串存儲，查詢的效率比較低
存儲空間比較大，如果是海量數(shù)據(jù)庫，就需要考慮存儲量的問題。
傳輸數(shù)據(jù)量大
UUID不需要聯(lián)網(wǎng)生成，redis需要。
基于數(shù)據(jù)庫自增方式
實現(xiàn)思路：利用數(shù)據(jù)庫自增或者序列號方式實現(xiàn)訂單號
注意：在數(shù)據(jù)庫集群環(huán)境下，默認(rèn)自增方式存在問題，因為都是從1開始自增，可能會存在重復(fù)，應(yīng)該設(shè)置每臺不同數(shù)據(jù)庫自增的間隔方式不同。
優(yōu)點:
簡單，代碼方便，性能可以接受。
數(shù)字ID天然排序，對分頁或者需要排序的結(jié)果很有幫助。
缺點:
不同數(shù)據(jù)庫語法和實現(xiàn)不同，數(shù)據(jù)庫遷移的時候或多數(shù)據(jù)庫版本支持的時候需要處理。
在性能達(dá)不到要求的情況下，比較難于擴(kuò)展。
在單個數(shù)據(jù)庫或讀寫分離或一主多從的情況下，只有一個主庫可以生成。有單點故障的風(fēng)險。
分表分庫的時候會有麻煩。
數(shù)據(jù)庫集群如何考慮數(shù)據(jù)庫自增唯一性
在數(shù)據(jù)庫集群環(huán)境下，默認(rèn)自增方式存在問題，因為都是從1開始自增，可能會存在重復(fù)，應(yīng)該設(shè)置每臺節(jié)點自增步長不同。
查詢自增的步長
SHOW VARIABLES LIKE 'auto_inc%'
修改自增的步長
SET @@auto_increment_increment=10;
修改起始值
SET @@auto_increment_offset=5;
假設(shè)有兩臺mysql數(shù)據(jù)庫服務(wù)器
節(jié)點①自增 1 3 5 7 9 11 ….
節(jié)點②自增 2 4 6 8 10 12 ….
注意:在最開始設(shè)置好了每臺節(jié)點自增方式步長后，確定好了mysql集群數(shù)量后，無法擴(kuò)展新的mysql，不然生成步長的規(guī)則可能會發(fā)生變化。
MySQL1 1 2 3
MySQL2 1 2 3
方法1 讀寫分離
方法2 設(shè)置自增步長 需要提前設(shè)置好步長 否則如果新增一臺MySQL就麻煩了
如果想提高擴(kuò)展性 采用UUID方式作為主鍵
基于Redis生成生成全局id策略
因為Redis是單線的，天生保證原子性，可以使用Redis的原子操作 INCR和INCRBY來實現(xiàn)
優(yōu)點:
不依賴于數(shù)據(jù)庫，靈活方便，且性能優(yōu)于數(shù)據(jù)庫。
數(shù)字ID天然排序，對分頁或者需要排序的結(jié)果很有幫助。
缺點:
如果系統(tǒng)中沒有Redis，還需要引入新的組件，增加系統(tǒng)復(fù)雜度。
需要編碼和配置的工作量比較大。
注意:在Redis集群情況下，同樣和Redis一樣需要設(shè)置不同的增長步長，同時key一定要設(shè)置有效期
可以使用Redis集群來獲取更高的吞吐量。假如一個集群中有5臺Redis?？梢猿跏蓟颗_Redis的值分別是1,2,3,4,5，然后步長都是5。各個Redis生成的ID為：
A：1,6,11,16,21
B：2,7,12,17,22
C：3,8,13,18,23
D：4,9,14,19,24
E：5,10,15,20,25
比較適合使用Redis來生成每天從0開始的流水號。比如訂單號=日期+當(dāng)日自增長號?？梢悦刻煸赗edis中生成一個Key，使用INCR進(jìn)行累加。
如果生成的訂單號超過自增增長的話，可以采用前綴+自增+并且設(shè)置有效期
當(dāng)前日期-5位自增
統(tǒng)一時間 最多生成10w-1個不重復(fù)的
假設(shè)雙十一 每秒99w訂單
package com.toov5.controller;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.data.redis.core.RedisTemplate;import org.springframework.data.redis.support.atomic.RedisAtomicLong;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;@RestControllerpublic class OrderController { @Autowired private RedisTemplate redisTemplate; @RequestMapping("/order") public Long order(String key) { RedisAtomicLong redisAtomicLong = new RedisAtomicLong(key, redisTemplate.getConnectionFactory() ); long andIncrement = redisAtomicLong.getAndIncrement(); return andIncrement; }}
補零：
import org.springframework.beans.factory.annotation.Autowired;import org.springframework.data.redis.core.RedisTemplate;import org.springframework.data.redis.support.atomic.RedisAtomicLong;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;@RestControllerpublic class OrderController { @Autowired private RedisTemplate redisTemplate; @RequestMapping("/order") public String order(String key) { RedisAtomicLong redisAtomicLong = new RedisAtomicLong(key, redisTemplate.getConnectionFactory() ); long increment = redisAtomicLong.getAndIncrement(); String id = String.format("%1$05d", increment); //5位數(shù) return id; }}
加上前綴：
import java.text.SimpleDateFormat;import java.util.Date;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.data.redis.core.RedisTemplate;import org.springframework.data.redis.support.atomic.RedisAtomicLong;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;@RestControllerpublic class OrderController { @Autowired private RedisTemplate redisTemplate; @RequestMapping("/order") public String order(String key) { RedisAtomicLong redisAtomicLong = new RedisAtomicLong(key, redisTemplate.getConnectionFactory() ); long increment = redisAtomicLong.getAndIncrement(); String id =prefix()+"-"+String.format("%1$05d", increment); //5位數(shù) return id; } public static String prefix() { String temp_str = ""; Date dt = new Date(); // 最后的aa表示“上午”或“下午” HH表示24小時制 如果換成hh表示12小時制 SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMddHHmmss"); temp_str = sdf.format(dt); return temp_str; }}
Redis如果做集群，會產(chǎn)生重復(fù)的問題！
@RequestMapping("/order1") public String order1(String key) { RedisAtomicLong redisAtomicLong = new RedisAtomicLong(key, redisTemplate.getConnectionFactory()); // // 起始值 // redisAtomicLong.set(10); // 設(shè)置步長加10!!!! redisAtomicLong.addAndGet(9); return redisAtomicLong.incrementAndGet() + ""; }redis 的key的失效時間問題！
24h 第二天時間變了 不會重復(fù)了哦
Twitter的snowflake(雪花)算法 （跟UUID一樣不用聯(lián)網(wǎng)） snowflake是Twitter開源的分布式ID生成算法，結(jié)果是一個long型的ID。其核心思想是： 高位隨機(jī)+毫秒數(shù)+機(jī)器碼（數(shù)據(jù)中心+機(jī)器id）+10位的流水號碼 Github地址: https://github.com/twitter-archive/snowflakeSnowflake 原理: snowflake生產(chǎn)的ID是一個18位的long型數(shù)字，二進(jìn)制結(jié)構(gòu)表示如下(每部分用-分開): 0 - 00000000 00000000 00000000 00000000 00000000 0 - 00000 - 00000 - 00000000 0000 第一位未使用，接下來的41位為毫秒級時間(41位的長度可以使用69年，從1970-01-01 08:00:00)，然后是5位datacenterId（最大支持2^5＝32個，二進(jìn)制表示從00000-11111，也即是十進(jìn)制0-31），和5位workerId（最大支持2^5＝32個，原理同datacenterId），所以datacenterId*workerId最多支持部署1024個節(jié)點，最后12位是毫秒內(nèi)的計數(shù)（12位的計數(shù)順序號支持每個節(jié)點每毫秒產(chǎn)生2^12＝4096個ID序號）.所有位數(shù)加起來共64位，恰好是一個Long型（轉(zhuǎn)換為字符串長度為18）.單臺機(jī)器實例，通過時間戳保證前41位是唯一的，分布式系統(tǒng)多臺機(jī)器實例下，通過對每個機(jī)器實例分配不同的datacenterId和workerId避免中間的10位碰撞。最后12位每毫秒從0遞增生產(chǎn)ID，再提一次：每毫秒最多生成4096個ID，每秒可達(dá)4096000個。
