作者：Monte Zweben是AI數(shù)據(jù)平臺(tái)公司Splice Machine的首席執(zhí)行官。
Hadoop正在慢慢地死去，但是致命因素就隱藏在我們眼皮底下。（提示：在標(biāo)題中。）
復(fù)雜性可能為Hadoop發(fā)行版敲響喪鐘。
對(duì)于Hadoop的三大分銷商而言，2019年可謂是困難重重的一年。從對(duì)于1月份完成的Cloudera/Hortonworks合并的內(nèi)部樂觀和外部懷疑，到MapR在5月份發(fā)布即將完蛋的信函、隨后被HPE收購(gòu)，再到Cloudera在6月份非常糟糕的周三（股價(jià)暴跌和首席執(zhí)行官Tom Reilly離職），這個(gè)領(lǐng)域盡是不好的消息。也許最有說服力的內(nèi)容來自Cloudera的季度收益公告，該公告將Hadoop的挑戰(zhàn)描述為需要云解決方案：
“雖然第一季度一些客戶因預(yù)料新平臺(tái)的發(fā)布而選擇推遲續(xù)訂和擴(kuò)展協(xié)議，從而影響了我們的全年前景，但這種客戶反饋和熱情證實(shí)了客戶需要我們目標(biāo)市場(chǎng)中的企業(yè)數(shù)據(jù)云解決方案?！?/span>
好多文章聲稱，公共云已殺死了Hadoop，但是正如我之前在這里所寫的那樣，對(duì)于這種分布式技術(shù)的未來，我卻持相反的看法。運(yùn)維復(fù)雜性：DevOps面臨的負(fù)擔(dān)是，為基于商用硬件的大規(guī)模分布式系統(tǒng)確?？捎眯浴⒏咝阅芎桶踩?。
開發(fā)復(fù)雜性：開發(fā)團(tuán)隊(duì)面臨的負(fù)擔(dān)是，將許多不同的計(jì)算和存儲(chǔ)部件捆綁起來，組成一種實(shí)用的解決方案，又沒有數(shù)據(jù)移動(dòng)造成的延遲。
公共云消除了運(yùn)維復(fù)雜性方面的挑戰(zhàn)。這對(duì)像Cloudera、Hortonworks和MapR這些很晚進(jìn)入到云時(shí)代的Hadoop發(fā)行版公司來說是沉重的打擊。AWS、Azure和谷歌云平臺(tái)（GCP）幾乎消除了運(yùn)行Hadoop生態(tài)系統(tǒng)核心組件的運(yùn)維復(fù)雜性。然而我認(rèn)為，即便在公共云，成功采用這項(xiàng)技術(shù)仍存在巨大的挑戰(zhàn)。AWS的產(chǎn)品頁(yè)面上實(shí)際上有數(shù)百種計(jì)算和存儲(chǔ)解決方案。我們認(rèn)為業(yè)界對(duì)開發(fā)人員過于依賴。Hadoop是一套很棒的技術(shù)組件！我們用它來搭建自己的數(shù)據(jù)平臺(tái)。但是與為Hadoop實(shí)施而苦惱的多位CIO交談后發(fā)現(xiàn)，我逐漸認(rèn)為這些組件可能實(shí)在太低級(jí)了。打個(gè)比方，我們需要運(yùn)輸時(shí)，我們根據(jù)運(yùn)輸需求購(gòu)買汽車。我們并不購(gòu)買單獨(dú)的汽車零部件，比如噴油器、車軸、發(fā)動(dòng)機(jī)和懸架系統(tǒng)。我們讓那些部件由制造商來組裝。同樣，你要連接AWS Dynamo來運(yùn)行應(yīng)用程序時(shí)、連接AWS Redshift來分析數(shù)據(jù)、連接AWS SageMaker來構(gòu)建機(jī)器學(xué)習(xí)模型、連接AWS EMR來運(yùn)行基于Spark的ETL等時(shí)，你就在組裝“汽車”。這就是“Lambda架構(gòu)”所謂的管道膠帶。然而，這導(dǎo)致了復(fù)雜性和數(shù)據(jù)移動(dòng)。而數(shù)據(jù)移動(dòng)導(dǎo)致了等待數(shù)據(jù)進(jìn)行“ETL處理”時(shí)常常遇到的延遲。此外，創(chuàng)建這些架構(gòu)所需的技能稀缺且昂貴。因此，無論是不是可以通過遷移到云端來消除運(yùn)維復(fù)雜性（這的確并非易事），你仍然面臨把所有計(jì)算和存儲(chǔ)部件捆綁起來的集成復(fù)雜性。我們的觀點(diǎn)是，就像用于運(yùn)輸?shù)摹捌嚒币粯?，公司需要大?guī)模可擴(kuò)展的基礎(chǔ)設(shè)施來處理操作、分析和機(jī)器學(xué)習(xí)等混合工作負(fù)載，但它們應(yīng)該沒必要自行組裝該實(shí)用功能。我們認(rèn)為，Hadoop的某些組件很適合嵌入和集成，從而讓公司既能夠構(gòu)建新的應(yīng)用程序，又能夠更新改造現(xiàn)有的應(yīng)用程序。另一些公司以其他方式將這些組件集成起來。不過，我們認(rèn)為這種預(yù)先集成必不可少；除非預(yù)先集成普及開來，否則 Hadoop仍很難，即便在公共云也是如此。
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
