我們都聽(tīng)過(guò)這個(gè)預(yù)測(cè)：到2020年，電子數(shù)據(jù)存儲(chǔ)量將在2009年的基礎(chǔ)上增加44倍，達(dá)到35萬(wàn)億GB。根據(jù)IDC數(shù)據(jù)顯示，截止到2010年，這個(gè)數(shù)字已經(jīng)達(dá)到了120萬(wàn)PB，或1.2ZB。如果把所有這些數(shù)據(jù)都存入DVD光盤(pán)，光盤(pán)高度將等同于從地球到月球的一個(gè)來(lái)回——也就是大約480,000英里。
對(duì)于那些喜歡杞人憂(yōu)天的人來(lái)說(shuō)，這是數(shù)據(jù)存儲(chǔ)的末日即將到來(lái)的不祥預(yù)兆。而對(duì)于機(jī)會(huì)主義者們而言，這就好比是個(gè)信息金礦，隨著技術(shù)的進(jìn)步，金礦開(kāi)采會(huì)變得越來(lái)越容易。
走進(jìn)大數(shù)據(jù)--一種新興的數(shù)據(jù)挖掘技術(shù)，它正在讓數(shù)據(jù)處理和分析變得更便宜更快速。大數(shù)據(jù)技術(shù)一旦進(jìn)入超級(jí)計(jì)算時(shí)代，很快便可應(yīng)用于普通企業(yè)，在遍地開(kāi)花的過(guò)程中，它將改變?cè)S多行業(yè)業(yè)務(wù)經(jīng)營(yíng)的模式。
在計(jì)算機(jī)世界里，大數(shù)據(jù)被定義為一種使用非傳統(tǒng)的數(shù)據(jù)過(guò)濾工具，對(duì)大量有序或無(wú)序數(shù)據(jù)集合進(jìn)行的挖掘過(guò)程，它包括但不僅限于分布式計(jì)算(Hadoop)。
大數(shù)據(jù)已經(jīng)站在了數(shù)據(jù)存儲(chǔ)宣傳的風(fēng)口浪尖，也存在著大量不確定因素，這點(diǎn)上非常像“云”。我們請(qǐng)教了一些分析人士和大數(shù)據(jù)愛(ài)好者，請(qǐng)他們解釋一下大數(shù)據(jù)究竟是什么，以及它對(duì)于未來(lái)數(shù)據(jù)存儲(chǔ)的意義。
大數(shù)據(jù)走進(jìn)歷史舞臺(tái)
適用于企業(yè)的大數(shù)據(jù)已經(jīng)出現(xiàn)，這在部分程度上要?dú)w功于計(jì)算能耗的降低以及系統(tǒng)已具備執(zhí)行多重處理的能力這樣一個(gè)事實(shí)。而且隨著主存儲(chǔ)器成本的不斷下降，和過(guò)去相比，公司可以將更多的數(shù)據(jù)存到存儲(chǔ)器中。并且，將多臺(tái)計(jì)算機(jī)連到服務(wù)器集群也變得更容易了。這三個(gè)變化加在一起成就了大數(shù)據(jù)，IDC 數(shù)據(jù)庫(kù)管理分析師Carl Olofson如是說(shuō)。
“我們不僅要把這些事情做好，還要能承受得起相應(yīng)的開(kāi)支”，他說(shuō)。 “過(guò)去的某些超級(jí)計(jì)算機(jī)也具有執(zhí)行系統(tǒng)多重處理的能力，(這些系統(tǒng)緊密相連，形成了一個(gè)集群)但因?yàn)橐褂脤?zhuān)門(mén)的硬件，它的成本高達(dá)幾十萬(wàn)美元甚至更多?！爆F(xiàn)在我們可以使用普通硬件完成相同的配置。正因?yàn)檫@樣，我們能更快更省得處理更多數(shù)據(jù)。"
大數(shù)據(jù)技術(shù)還沒(méi)有在有大型數(shù)據(jù)倉(cāng)庫(kù)的公司中得到廣泛普及。IDC認(rèn)為，想讓大數(shù)據(jù)技術(shù)得到認(rèn)可，首先技術(shù)本身一定要足夠便宜，然后，必須滿(mǎn)足IBM稱(chēng)之為3V標(biāo)準(zhǔn)中的2V，即：類(lèi)型(variety)，量(volume)和速度(velocity)。
種類(lèi)要求指的是待存儲(chǔ)數(shù)據(jù)的類(lèi)型分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。量是指存儲(chǔ)和分析的數(shù)據(jù)量可以很龐大。 “數(shù)據(jù)量不只是幾百TB，” Olofson說(shuō)： “要視具體情況而定，因?yàn)樗俣群蜁r(shí)間的關(guān)系，有時(shí)幾百GB可能就算很多了。如果我現(xiàn)在一秒能完成過(guò)去要花一小時(shí)才能完成的300GB的數(shù)據(jù)分析，那結(jié)果將大為不同。大數(shù)據(jù)就是這樣一種技術(shù)，它可以滿(mǎn)足這三個(gè)要求中的至少兩個(gè)，并且普通企業(yè)也能夠部署?！?/p>
關(guān)于大數(shù)據(jù)的三大誤解
對(duì)于大數(shù)據(jù)是什么以及大數(shù)據(jù)能干什么存在很多誤會(huì)。下面就是有關(guān)大數(shù)據(jù)的三個(gè)誤解：
1、關(guān)系數(shù)據(jù)庫(kù)無(wú)法大幅增容，因此不能被認(rèn)為是大數(shù)據(jù)技術(shù)(不對(duì))
2、無(wú)需考慮工作負(fù)載或具體使用情況，Hadoop或以此類(lèi)推的任何MapReduce都是大數(shù)據(jù)的最佳選擇。(也不對(duì))
3、圖解式管理系統(tǒng)時(shí)代已經(jīng)結(jié)束。圖解的發(fā)展只會(huì)成為大數(shù)據(jù)應(yīng)用的攔路虎。(可笑的錯(cuò)誤)
大數(shù)據(jù)與開(kāi)源的關(guān)系
“很多人認(rèn)為Hadoop和大數(shù)據(jù)基本上是一個(gè)意思。這是錯(cuò)誤的，”O(jiān)lofson說(shuō)。并解釋道： Teradata, MySQL和“智能聚合技術(shù)”的某些安裝啟用都用不到Hadoop，但它們也可以被認(rèn)為是大數(shù)據(jù)。
Hadoop是一種用于大數(shù)據(jù)的應(yīng)用程序，因?yàn)樗墙⒃贛apReduce基礎(chǔ)上的，所以引起了極大的關(guān)注。(MapReduce是一種用于超級(jí)計(jì)算的普通方法，之后經(jīng)過(guò)了主要由Google資助的一個(gè)項(xiàng)目的優(yōu)化，因此被簡(jiǎn)化并變得考究了。) Hadoop是幾個(gè)緊密關(guān)聯(lián)的Apache項(xiàng)目組成的混合體的主要安裝啟用程序，其中包括MapReduce環(huán)境中的HBase數(shù)據(jù)庫(kù)。
為了充分利用Hadoop和類(lèi)似的先進(jìn)技術(shù)，軟件開(kāi)發(fā)商們絞盡腦汁研發(fā)出了各種各樣的技術(shù)，其中很多都是在開(kāi)源社區(qū)里開(kāi)發(fā)出來(lái)的。Olofson 說(shuō)“他們已經(jīng)開(kāi)發(fā)出了大量的所謂noSQL數(shù)據(jù)庫(kù)，種類(lèi)之多讓人眼花繚亂，其中大部分都是鍵值配對(duì)數(shù)據(jù)庫(kù)，能利用多種技術(shù)對(duì)性能或種類(lèi)或容量進(jìn)行優(yōu)化。”
開(kāi)源技術(shù)還沒(méi)有得到商業(yè)支持。“所以在這方面還需要經(jīng)過(guò)一段時(shí)間的發(fā)展完善，這一過(guò)程可能需要幾年。基于這個(gè)原因，大數(shù)據(jù)可能需要一些時(shí)日才能在市場(chǎng)上走向成熟”他補(bǔ)充道。據(jù)IDC預(yù)計(jì)，年內(nèi)至少有三家商業(yè)公司能以某種方式給予Hadoop支持。同時(shí)，包括Datameer 在內(nèi)的幾家企業(yè)將發(fā)布配有Hadoop組件的分析工具，這種工具能幫助企業(yè)開(kāi)發(fā)自己的應(yīng)用程序。Cloudera和Tableau公司的產(chǎn)品清單里已經(jīng)出現(xiàn)了Hadoop。
|
新型RDBMS
行業(yè)觀(guān)察家們認(rèn)為升級(jí)后的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)就是大數(shù)據(jù)，這是無(wú)需爭(zhēng)辯的。Olofson說(shuō)：“我認(rèn)為它滿(mǎn)足更快，更大，更便宜這三個(gè)衡量標(biāo)準(zhǔn)”。比如天睿資訊公司的系統(tǒng)就是個(gè)例子，它比以前更便宜，而且自身也是一個(gè)可擴(kuò)展的聚合系統(tǒng)，他補(bǔ)充道。
但其他人卻不這么認(rèn)為。 “通常使用RDBMS和標(biāo)準(zhǔn)BI工具進(jìn)行的一般性處理其實(shí)不能算是大數(shù)據(jù)，”高德納公司數(shù)據(jù)管理分析師Marcus Collins說(shuō)。 “這種處理很早之前就有了?！?/p>
那么，誰(shuí)在真正使用大數(shù)據(jù)呢?
一年前，大數(shù)據(jù)技術(shù)的主要用戶(hù)還都是像Facebook和雅虎這樣的大型互聯(lián)網(wǎng)企業(yè)，它們希望借此技術(shù)分析點(diǎn)擊流數(shù)據(jù)。但今天，“這項(xiàng)技術(shù)的使用已經(jīng)不僅限于這些大型網(wǎng)絡(luò)公司了，它正在走進(jìn)任何你能想到的存有大量數(shù)據(jù)的公司，”Collins 說(shuō)。銀行，公共事業(yè)單位，智能社區(qū)—都已搭上了大數(shù)據(jù)這趟列車(chē)。
雖然大數(shù)據(jù)的某些技術(shù)還不成熟，存在使用風(fēng)險(xiǎn)，但還是有一些人對(duì)它非常熱衷，因?yàn)樗麄冃枰@些技術(shù)，比如建立由社會(huì)化媒體推動(dòng)的網(wǎng)絡(luò)服務(wù)時(shí)就要用到其中的某些技術(shù)。這些試吃螃蟹的人對(duì)這些項(xiàng)目的發(fā)展做出了很大的貢獻(xiàn)。
同樣地，大數(shù)據(jù)技術(shù)也已經(jīng)對(duì)Catalina公司產(chǎn)生了革命性的影響。 這家位于佛羅里達(dá)圣彼得斯堡的公司有一個(gè)2.5PB的大型客戶(hù)忠誠(chéng)度數(shù)據(jù)庫(kù)，里面存有1.9億多家美國(guó)雜貨店多年來(lái)的購(gòu)買(mǎi)歷史記錄。其中最大的一個(gè)單數(shù)據(jù)庫(kù)里就有多達(dá)4250億行數(shù)據(jù)，僅這一個(gè)數(shù)據(jù)庫(kù)中，每天公司需要處理的數(shù)據(jù)就有6.25億行。
通過(guò)分析這些數(shù)據(jù)，Catalina幫助消費(fèi)商品主要生產(chǎn)商和大型連鎖超市預(yù)測(cè)消費(fèi)者可能買(mǎi)什么，以及誰(shuí)會(huì)對(duì)新產(chǎn)品感興趣。
“我們想把技術(shù)應(yīng)用于數(shù)據(jù)，而不是把數(shù)據(jù)丟給技術(shù)”，Eric Williams，Catalina執(zhí)行副主席兼CIO說(shuō)。 “現(xiàn)在已經(jīng)有了能讓SAS這樣的公司將它們的分析技術(shù)應(yīng)用于數(shù)據(jù)庫(kù)的技術(shù)了，整個(gè)公司因此產(chǎn)生了很大的改變。我們過(guò)去一直在這么做，但受到了很大的限制，因此無(wú)法深入到我們想到的程度。因此我們只能使用自己研發(fā)的工具，但因?yàn)檫€很初級(jí)，所以它能完成的工作非常有限。大數(shù)據(jù)技術(shù)對(duì)我們而言真是及時(shí)雨啊，它改變了整個(gè)公司?！?/p>
除了在自己的專(zhuān)有系統(tǒng)中使用了一些開(kāi)源軟件之外，Catalina也在Netezza數(shù)據(jù)庫(kù)平臺(tái)中使用了SAS分析法。
一些公司正在“開(kāi)發(fā)可通用于基于Intel的硬件的技術(shù)，這種技術(shù)可使硬件具備操作二級(jí)和三級(jí)產(chǎn)品的能力，例如SAS分析法的計(jì)分法就可直接應(yīng)用于運(yùn)行數(shù)據(jù)庫(kù)的Netezza(軟件)，”Williams 說(shuō)。 “能使用這項(xiàng)技術(shù)并將其直接作用于數(shù)據(jù)庫(kù)意味著Catalina可以將數(shù)據(jù)開(kāi)采方案的研發(fā)時(shí)間從數(shù)周縮減到大約幾個(gè)小時(shí)?！?/p>
根據(jù)2010年10月美國(guó)銀行主管大數(shù)據(jù)和分析法的前總經(jīng)理Abhishek Mehta在Hadoop World大會(huì)上的發(fā)言，大數(shù)據(jù)正在從根本上改變美國(guó)銀行的營(yíng)業(yè)模式。 “我覺(jué)得現(xiàn)在的Hadoop就像是20年前的Linux。我們都已經(jīng)看到了Linux對(duì)企業(yè)軟件領(lǐng)域的發(fā)展作出的貢獻(xiàn)。軟件行業(yè)被極大程度地分化了，Hadoop將來(lái)也一樣，討論其是否會(huì)發(fā)生已經(jīng)完全沒(méi)有意義，目前的焦點(diǎn)在于它什么時(shí)候到來(lái)?！?/p>
除了能進(jìn)行點(diǎn)擊量和交易分析之外，Hadoop 還可以讓美國(guó)銀行具備快速處理業(yè)務(wù)問(wèn)題的能力。 “現(xiàn)在，作為銀行的一員，我已經(jīng)可以想到欺騙行為消失的那天了，”Mehta說(shuō)?！艾F(xiàn)在我已經(jīng)可以建一個(gè)模型，把過(guò)去五年里發(fā)生在個(gè)人身上的每一起詐騙案例都存進(jìn)去，而不是只抽取幾個(gè)樣本建個(gè)模型，發(fā)現(xiàn)了模型里沒(méi)有的新案例時(shí)，就重新建一次模型。這樣的日子已經(jīng)過(guò)去了。”
公共事業(yè)行業(yè)也正在意識(shí)到指尖敲擊之下產(chǎn)生的巨大數(shù)據(jù)量，以及這些數(shù)據(jù)會(huì)帶來(lái)的價(jià)值。一家美國(guó)中西部的公共事業(yè)單位已經(jīng)在使用Hadoop 分析智能儀表收集的錄入信息了，以前這些智能儀表主要被用來(lái)作記賬自動(dòng)化，但也能收集關(guān)于線(xiàn)路安培數(shù)的波動(dòng)信息。 “如果你收集到這方面的信息后對(duì)其進(jìn)行分析，你會(huì)發(fā)現(xiàn)某個(gè)地方的轉(zhuǎn)換器將會(huì)出現(xiàn)故障，從而能提前采取應(yīng)對(duì)措施。”O(jiān)lofson說(shuō)。 “或者如果發(fā)生了供電中斷，他們會(huì)在用戶(hù)打電話(huà)詢(xún)問(wèn)前及時(shí)發(fā)現(xiàn)情況并采取行動(dòng)?！?/p>
沿著這個(gè)思路，他還看到公共事業(yè)單位使用大數(shù)據(jù)將帶來(lái)的其他好處—通過(guò)監(jiān)控和檢測(cè)電網(wǎng)以及對(duì)電網(wǎng)進(jìn)行微調(diào)來(lái)改善客戶(hù)服務(wù)質(zhì)量，減少運(yùn)行成本--但如此一來(lái)可能需要對(duì)老化的基礎(chǔ)設(shè)計(jì)進(jìn)行有效升級(jí)。
品牌營(yíng)銷(xiāo)商們正在用Hadoop對(duì)社會(huì)化媒體作情感分析實(shí)驗(yàn)?，F(xiàn)在越來(lái)越多的服務(wù)供應(yīng)商也開(kāi)始使用Hadoop，幫自己的客戶(hù)篩選Twitter用戶(hù)們正熱衷于談?wù)摰漠a(chǎn)品，以及對(duì)這些產(chǎn)品有怎樣的想法。
繼續(xù)保持謹(jǐn)慎
大數(shù)據(jù)技術(shù)發(fā)展很快。目前正在使用該技術(shù)的公司有一大批技術(shù)上格外出眾的IT員工，能對(duì)技術(shù)的進(jìn)步并根據(jù)公司要求做出適當(dāng)調(diào)整。
“如果你還沒(méi)有能力這么做，那就去找一家服務(wù)供應(yīng)商來(lái)合作吧--比如找一家云服務(wù)公司--或者再等一等，等到大數(shù)據(jù)發(fā)展到一定程度就有大量成熟的軟件產(chǎn)品和服務(wù)了。”O(jiān)lofson 建議說(shuō)。 “到時(shí)候至少有些東西是你的員工可以理解的了?！?/p>
毫無(wú)疑問(wèn)，數(shù)據(jù)讀取方式已經(jīng)發(fā)生了根本性地轉(zhuǎn)變。但分析師們認(rèn)為大數(shù)據(jù)技術(shù)不會(huì)徹底取代現(xiàn)在的數(shù)據(jù)庫(kù)和數(shù)據(jù)讀取工具。
“現(xiàn)在的數(shù)據(jù)處理唯一做的就是建立相對(duì)復(fù)雜的模型，里面沒(méi)有太多的數(shù)據(jù)?！备叩录{公司的Collins說(shuō)?！岸缃竦拇髷?shù)據(jù)會(huì)給你大量的數(shù)據(jù)--所以你應(yīng)該不再需要那么復(fù)雜的模型了。這可能意味著數(shù)據(jù)處理模式已經(jīng)完成了升級(jí)?！?/p>
“我的觀(guān)點(diǎn)是數(shù)據(jù)庫(kù)市場(chǎng)事實(shí)上將因此得到擴(kuò)展，”O(jiān)lofson說(shuō)。 “他們會(huì)使用像MapReduce這樣的技術(shù)，不論是通過(guò)Hadoop或是其它的廣告宣傳，來(lái)生成一些有趣的商業(yè)智能數(shù)據(jù)，這些數(shù)據(jù)在以前是根本無(wú)法得到的。然后，為了再次使用這些數(shù)據(jù)并追蹤歷史模型，他們將把它們存入數(shù)據(jù)庫(kù)并真正擴(kuò)大它的使用范圍?！?/p>
是否具備擴(kuò)展能力是一個(gè)挑戰(zhàn)，Collins說(shuō)，另一個(gè)挑戰(zhàn)是“還沒(méi)有成形的結(jié)構(gòu)模型來(lái)利用該項(xiàng)技術(shù)。我們還在一邊學(xué)習(xí)一邊摸索。”
他說(shuō)，隨著軟件包的引入，附帶在軟件包里的某些工具正在導(dǎo)致技術(shù)風(fēng)險(xiǎn)的擴(kuò)散，但這項(xiàng)技術(shù)主要還是一個(gè)編程接口--這對(duì)于商務(wù)智能而言是一種倒退。比如，Collins說(shuō)“Hadoop是一個(gè)技術(shù)含量很高的系統(tǒng)，商務(wù)智能的發(fā)展將其推向了普通企業(yè)，進(jìn)入了桌面電腦之中，并擁有一個(gè)非常友好的界面?！蔽覀円呀?jīng)讓Hadoop退了一步，新的賣(mài)家們將幫助它回到用戶(hù)社區(qū)，那個(gè)它應(yīng)該去到的地方。
“大數(shù)據(jù)應(yīng)該跳出IT的圈子，而且我們必須把工具放到業(yè)務(wù)部門(mén)用戶(hù)的手里”他補(bǔ)充道。 “但現(xiàn)在這種想法還沒(méi)有實(shí)現(xiàn)?！?/p>
作者：Collett，《電腦世界》撰稿人
【編輯推薦】
聯(lián)系客服
