eBay 的數(shù)據(jù)量
網(wǎng)址：http://www.dbanotes.net/database/ebay_storage.html
作為電子商務(wù)領(lǐng)頭羊的 eBay 公司，數(shù)據(jù)量究竟有多大? 很多朋友可能都會(huì)對(duì)這個(gè)很感興趣。在這一篇
Web 2.0: How High-Volume eBay Manages Its Storage(從+1 GB/1 min得到的線索) 報(bào)道中，eBay 的存儲(chǔ)主管 Paul Strong 對(duì)數(shù)據(jù)量做了一些介紹，管中窺豹，這些數(shù)據(jù)也給我們一個(gè)參考。
站點(diǎn)處理能力
- 平均每天的 PV 超過(guò) 10 億 ;
- 每秒鐘交易大約 1700 美元的商品 ;
- 每分鐘賣出一輛車A ;
- 每秒鐘賣出一件汽車飾品或者配件 ;
- 每?jī)煞昼娰u出一件鉆石首飾 ;
- 6 億商品，2 億多注冊(cè)用戶; 超過(guò) 130 萬(wàn)人把在 eBay 上做生意看作是生活的一部分。
在這樣高的壓力下，可靠性達(dá)到了 99.94%，也就是說(shuō)每年 5 個(gè)小時(shí)多一點(diǎn)的服務(wù)不可用。從業(yè)界消息來(lái)看，核心業(yè)務(wù)的可用性要比這個(gè)高。
數(shù)據(jù)存儲(chǔ)工程組控制著 eBay 的 2PB (1Petabyte=1000Terabytes) 可用空間。這是一個(gè)什么概念，對(duì)比一下 Google 的存儲(chǔ)就知道了。每周就要分配 10T 數(shù)據(jù)出去，稍微算一下，一分鐘大約使用 1G 的數(shù)據(jù)空間。
計(jì)算能力
eBay 使用一套傳統(tǒng)的網(wǎng)格計(jì)算系統(tǒng)。該系統(tǒng)的一些特征數(shù)據(jù)：- 170 臺(tái) Win2000/Win2003 服務(wù)器；
- 170 臺(tái) Linux (RHES3) 服務(wù)器；
- 三個(gè) Solaris 服務(wù)器: 為 QA 構(gòu)建與部署 eBay.com; 編譯優(yōu)化 Java / C++ 以及其他 Web 元素 ;
- Build 整個(gè)站點(diǎn)的時(shí)間：過(guò)去是 10 個(gè)小時(shí)，現(xiàn)在是 30 分鐘;
- 在過(guò)去的2年半, 有 200 萬(wàn)次 Build，很可怕的數(shù)字。
存儲(chǔ)硬件
每個(gè)供貨商都必須通過(guò)嚴(yán)格的測(cè)試才有被選中的可能，這些廠家或產(chǎn)品如下：- 交換機(jī): Brocade
- 網(wǎng)管軟件：IBM Tivoli
- NAS： Netapp (占總數(shù)據(jù)量的 5%，2P*0.05, 大約 100 T)
- 陣列存儲(chǔ)：HDS (95%，這一份投資可不小，HDS 不便宜, EMC 在 eBay 是出局者) 負(fù)載均衡與 Failover: Resonate ;
搜索功能： Thunderstone indexing system ;
數(shù)據(jù)庫(kù)軟件：Oracle 。大多數(shù) DB 都有 4 份拷貝。數(shù)據(jù)庫(kù)使用的服務(wù)器 Sun E10000。另外據(jù)我所知, eBay 購(gòu)買了 Quest SharePlex 全球 Licence 用于數(shù)據(jù)復(fù)制.
應(yīng)用服務(wù)器
應(yīng)用服務(wù)器有哪些特點(diǎn)呢?
非常有意思，根據(jù)eWeek 的該篇文檔，昨天還有上面這段劃掉的內(nèi)容，今天上去發(fā)現(xiàn)已經(jīng)修改了:
架構(gòu)
- 高分布式
- 拍賣站點(diǎn)是基于 Java 的，搜索的架構(gòu)是用 C++ 寫(xiě)的
- 數(shù)百名工程師進(jìn)行開(kāi)發(fā)，所有的工作都在同樣的代碼環(huán)境下進(jìn)行
可能是被采訪者看到 eWeek 這篇報(bào)道，聯(lián)系了采訪者進(jìn)行了更正。我還有點(diǎn)奇怪原來(lái)"兩層"架構(gòu)的說(shuō)法。
其他信息
- 集中化存儲(chǔ)應(yīng)用程序日志;
- 全局計(jì)費(fèi)：實(shí)時(shí)的與第三方應(yīng)用集成(就是eBay 自己的 PayPal 吧?)
- 業(yè)務(wù)事件流：使用統(tǒng)一的高效可靠消息隊(duì)列. 并且使用 Cookie-cutter 模式用于優(yōu)化用戶體驗(yàn)(這似乎是大型電子商務(wù)站點(diǎn)普遍使用的用于提高用戶體驗(yàn)的手法)。
后記
零散作了一點(diǎn)流水帳。作為一個(gè) DBA, 或許有一天也有機(jī)會(huì)面對(duì)這樣的數(shù)據(jù)量。到那一天，再回頭看這一篇電子垃圾。更新：更詳細(xì)信息請(qǐng)參考：Web 2.0: How High-Volume eBay Manages Its Storage。可能處于 Cache 的問(wèn)題，好幾個(gè)人看到的原文內(nèi)容有差異
--EOF--
