文/技術領導力社區(qū)
編輯/Emma
阿里大數(shù)據(jù)和人工智能科學家 行在，阿里公共數(shù)據(jù)平臺負責人 羅金鵬，在云棲大會、Data Tech等大會中分享到：阿里的“雙中臺 ET”數(shù)字化轉型方法論及成果，以及阿里數(shù)據(jù)中臺產(chǎn)品OneData、OneID、OneService、Dataphin的建設實踐。
本文整理了其中15頁PPT精華濃縮，下面我們跟隨技術大咖，一起來學習阿里數(shù)據(jù)中臺的建設方法論、建設實踐、組織中臺如果支撐數(shù)據(jù)中臺、以及數(shù)據(jù)中臺建設分哪些步驟等等。
01
阿里數(shù)據(jù)中臺全景圖
（點擊圖片可放大）
阿里數(shù)據(jù)中臺在架構的組成上，呈現(xiàn)了一個“四橫三縱”的結構，底層的基礎設施來自于阿里云平臺。
四橫。在這張架構圖中，從下往上看，最下面的內(nèi)容主要數(shù)據(jù)采集和接入，按照業(yè)態(tài)接入數(shù)據(jù)（比如淘寶、天貓、盒馬等），我們把這些數(shù)據(jù)抽取到計算平臺；通過OneData體系，以“業(yè)務板塊 分析維度”為架構去構建“公共數(shù)據(jù)中心”。
基于公共數(shù)據(jù)中心在上層根據(jù)業(yè)務需求進行建設：消費者數(shù)據(jù)體系、企業(yè)數(shù)據(jù)體系、內(nèi)容數(shù)據(jù)體系等。
（圖片來源：云棲社區(qū)）
經(jīng)過深度加工后，數(shù)據(jù)就可以發(fā)揮其價值被產(chǎn)品、業(yè)務所用；最后通過統(tǒng)一的數(shù)據(jù)服務中間件“OneService”提供統(tǒng)一數(shù)據(jù)服務。
（點擊圖片可放大）
三縱。為保證阿里巴巴整個數(shù)據(jù)體系的快速、高效、高質量數(shù)據(jù)接入，需要有一套智能數(shù)據(jù)研發(fā)平臺來實現(xiàn)，將理論及實踐過程，通過一整套的工具體系及研發(fā)流程去保障落地，確保每一個團隊，每一個BU，通過統(tǒng)一規(guī)則去建設數(shù)據(jù)體系；同時，當數(shù)據(jù)多了以后最直接問題就是成本，因此我們還建立了統(tǒng)一的數(shù)據(jù)質量管理平臺。
02
阿里“雙中臺”共同支撐的“大中臺 小前臺架構”
業(yè)務中臺將后臺資源進行抽象包裝整合，轉化為前臺友好的可重用共享的核心能力，實現(xiàn)了后端業(yè)務資源到前臺易用能力的轉化。
（點擊圖片可放大）
數(shù)據(jù)中臺從后臺及業(yè)務中臺將數(shù)據(jù)流入，完成海量數(shù)據(jù)的存儲、計算、產(chǎn)品化包裝過程，構成企業(yè)的核心數(shù)據(jù)能力，為前臺基于數(shù)據(jù)的定制化創(chuàng)新和業(yè)務中臺基于數(shù)據(jù)反饋的持續(xù)演進提供了強大支撐。
（點擊圖片可放大）
業(yè)務中臺與數(shù)據(jù)中臺相輔相成、互相支撐，一起構建起了戰(zhàn)場強大的后方炮火群和雷達陣。
03
阿里數(shù)據(jù)中臺OneData體系
OneData是阿里數(shù)據(jù)中臺的核心，阿里公共數(shù)據(jù)平臺負責人羅金鵬介紹，OneData體系建立的集團數(shù)據(jù)公共層，從設計、開發(fā)、部署和使用上保障了數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，實現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路管理，提供標準數(shù)據(jù)輸出。
統(tǒng)一數(shù)據(jù)標準是一項非常復雜的工作，譬如，針對UV這一相同的指標，在統(tǒng)一之前阿里內(nèi)部竟然有10多種數(shù)據(jù)定義。據(jù)介紹，OneData數(shù)據(jù)公共層總共對30000多個數(shù)據(jù)指標進行了口徑的規(guī)范和統(tǒng)一，梳理后縮減為3000余個。
在DT時代，數(shù)據(jù)暴增對存儲計算成本帶來很大的挑戰(zhàn)。據(jù)羅金鵬介紹在沒有建設統(tǒng)一的數(shù)據(jù)公共層時，阿里內(nèi)部服務器需求量會在5年之后達到現(xiàn)在的100倍之多。而經(jīng)過數(shù)據(jù)公共層的統(tǒng)一建設，5年后的服務器需求量相對會節(jié)約90%。
阿里數(shù)據(jù)中臺之OneData也并非是“一次成型”的，它經(jīng)歷了三個階段的能力演進：
第一階段：完全應用驅動的時代。這個時期主要將數(shù)據(jù)以與源結構相同的方式同步到Oracle，那時候的數(shù)據(jù)架構只有兩層ODS DSS，嚴格說來基本只有一個ODS層，也基本沒有模型方法體系。
第二階段：隨著阿里業(yè)務的快速發(fā)展，數(shù)據(jù)量也在飛速增長，性能已經(jīng)是一個較大問題，希望通過一些模型技術改變煙囪式的開發(fā)模型，消除一些冗余，提升數(shù)據(jù)的一致性，所以阿里引入了Greenplum。
第三階段：引入以hadoop為代表的分布式存儲計算平臺，確立第三代模型架構（OneData），核心CDM層都采用多維模型。選擇了以Kimball維度建模為核心理念的模型方法論，同時對其進行了一定的升級和擴展，構建了阿里集團的數(shù)據(jù)架構體系。
04
數(shù)據(jù)中臺PasS層Dataphin
（圖片來源：云棲社區(qū)）
在整個數(shù)據(jù)中臺模式中，PasS層產(chǎn)品Dataphin如引擎般存在，下到規(guī)劃數(shù)倉，上至輸出主題式服務。
有了Dataphin之后，種種數(shù)據(jù)問題彈指間即可迎刃而解，它既可以保證數(shù)據(jù)標準規(guī)范定義、數(shù)據(jù)模型設計即自動化開發(fā)、主題式數(shù)據(jù)服務即時生成。
同時還能提供數(shù)據(jù)資產(chǎn)化管理的門戶，有效降低數(shù)倉建設門檻，也提高生產(chǎn)效率、降低生產(chǎn)成本，輕松實現(xiàn)讓數(shù)據(jù)從成本中心真正變成價值中心，且可量化呈現(xiàn)。
05
Quick BI助力云上企業(yè)數(shù)據(jù)分析
大數(shù)據(jù)構建與管理完畢之后，我們需要利用Quick BI這一智能數(shù)據(jù)與可視化組件將數(shù)據(jù)背后的價值展現(xiàn)在人們面前。
Quick BI扭轉了當初重度依賴專業(yè)數(shù)據(jù)分析人才的局面，能夠賦予一線業(yè)務人員智能化的分析工具，真正的做到了“數(shù)據(jù)化運營”讓數(shù)據(jù)產(chǎn)生價值。
現(xiàn)在，越來越多的企業(yè)開始數(shù)據(jù)上云，也有的行業(yè)如政府、金融因為嚴苛的安全需求而自建本地數(shù)據(jù)庫，導致企業(yè)出現(xiàn)數(shù)據(jù)分散式存儲的狀況。而Quick BI卻可以鏈接各種數(shù)據(jù)源，滿足云上和本地的不同需求，整合為可被統(tǒng)一調(diào)度的數(shù)據(jù)集。
06
阿里大數(shù)據(jù)能力框架
阿里巴巴提出的數(shù)據(jù)中臺模式，正是為解決問題而生，并通過實踐形成了統(tǒng)一全域數(shù)據(jù)體系，實現(xiàn)了計算存儲累計過億的成本降低、響應業(yè)務效率多倍提升、為業(yè)務快速創(chuàng)新提供堅實保障。
全域數(shù)據(jù)采集與引入：以需求為驅動，以數(shù)據(jù)多樣性的全域思想為指導，采集與引入全業(yè)務、多終端、多形態(tài)的數(shù)據(jù)。
標準規(guī)范數(shù)據(jù)架構與研發(fā)：統(tǒng)一基礎層、公共中間層、百花齊放應用層的數(shù)據(jù)分層架構模式，通過數(shù)據(jù)指標結構化規(guī)范化的方式實現(xiàn)指標口徑統(tǒng)一。
連接與深度萃取數(shù)據(jù)價值：形成以業(yè)務核心對象為中心的連接和標簽體系，深度萃取數(shù)據(jù)價值。
統(tǒng)一數(shù)據(jù)資產(chǎn)管理：構建元數(shù)據(jù)中心，通過資產(chǎn)分析、應用、優(yōu)化、運營四方面對看清數(shù)據(jù)資產(chǎn)、降低數(shù)據(jù)管理成本、追蹤數(shù)據(jù)價值。
統(tǒng)一主題式服務：通過構建服務元數(shù)據(jù)中心和數(shù)據(jù)服務查詢引擎，面向業(yè)務統(tǒng)一數(shù)據(jù)出口與數(shù)據(jù)查詢邏輯，屏蔽多數(shù)據(jù)源與多物理表。
極大的豐富和完善了阿里巴巴大數(shù)據(jù)中心，OneData、OneID、OneService漸趨成熟并成為上至CEO、下至一線員工共識的方法論體系。
07
阿里數(shù)據(jù)中臺演進的四個階段
阿里巴巴的數(shù)據(jù)處理經(jīng)歷了四個階段，分別是：
一. 數(shù)據(jù)庫階段，主要是OLTP（聯(lián)機事務處理）的需求；
二. 數(shù)據(jù)倉庫階段，OLAP（聯(lián)機分析處理）成為主要需求；
三. 數(shù)據(jù)平臺階段，主要解決BI和報表需求的技術問題；
四. 數(shù)據(jù)中臺階段，通過系統(tǒng)來對接OLTP（事務處理）和OLAP（報表分析）的需求，強調(diào)數(shù)據(jù)業(yè)務化的能力。
08
數(shù)據(jù)中臺的建設步驟
第一，組織架構升級。比如以前負責數(shù)據(jù)的部門或團隊往往缺乏話語權，面對業(yè)務需求往往是被動的接受的角色，這讓一切數(shù)據(jù)中臺的想法化為泡影，需要為數(shù)據(jù)中臺團隊授權。
第二，工作方式的改變。現(xiàn)在很多企業(yè)的數(shù)據(jù)團隊的主要工作內(nèi)容就是項目管理、需求管理等等，當一個項目完成后又投入到下一個項目，做好一個需求后又開始負責下一個需求，這樣的工作確實非常鍛煉人的組織、協(xié)調(diào)能力，但這樣能力的提升與工作時間的長短并不是呈線性增長的，雖然增加了項目和需求管理經(jīng)驗，但并不能在某一個專業(yè)領域得到知識和經(jīng)驗的沉淀，隨著時間的流逝，越來越多的人會失去最初的工作積極性和創(chuàng)造性，事實上，數(shù)據(jù)人員只有深入的研究業(yè)務、數(shù)據(jù)和模型，端到端的去實踐，打造出數(shù)據(jù)中臺，才是最大的價值創(chuàng)造，才能使得持續(xù)創(chuàng)新成為可能
第三，角色的轉換。數(shù)據(jù)中臺的團隊要從傳統(tǒng)的支撐角色逐步向運營轉變，不僅在數(shù)據(jù)上，在業(yè)務上也要努力趕超業(yè)務人員，中臺人員要逐步建立起對于業(yè)務的話語權，不僅僅是接受需求的角色，更要能提出合理的建議，能為業(yè)務帶來新的增長點，比如數(shù)據(jù)驅動營銷。
第四，適合企業(yè)特點。好的中臺是當你深入了解業(yè)務、產(chǎn)品、系統(tǒng)、組織，而且不僅了解今天在哪里，還要了解過去是怎么演變而來，未來又會怎么演化。只有當了解所有的東西之后，才能做出較好的中臺架構設計。
09
阿里中臺建設方法論
中臺建設的基礎協(xié)議
就是要根據(jù)我們對商業(yè)的理解，把一些基礎協(xié)議梳理出來。例如什么是業(yè)務？什么是業(yè)務身份？各個業(yè)務領域的邊界是什么？每個領域提供的基礎服務是什么？再在這些思想的指導下去建立業(yè)務平臺化的實施標準和業(yè)務管控標準。
中臺的基礎設施：中心化控制單元
就是運營平臺，它主要由協(xié)議標準、能力地圖、業(yè)務需求結構分解、全局業(yè)務身份、業(yè)務全景圖、業(yè)務度量等構成。能讓我們有一個地方縱觀全局，把控細節(jié)。
10
阿里的組織中臺：數(shù)據(jù)中臺的組織保證
亞當斯密出版了《國富論》，與此同時，瓦特改良了蒸汽機，社會大分工理論與工業(yè)革命相生相伴，在人類文明史上寫下了濃墨重彩的一筆。
金字塔式的科層制，伴隨著工業(yè)文明成為組織的核心底層邏輯，在強調(diào)秩序和大規(guī)模高效率生產(chǎn)的工業(yè)時代，甚至是強調(diào)如臂使指的軍隊組織，科層制（官僚制）是保證自上而下的命令得到有力執(zhí)行的高效組織架構。
隨著互聯(lián)網(wǎng)時代的到來，消費者的需求被極大釋放，工業(yè)時代的大規(guī)模生產(chǎn)方式受到了挑戰(zhàn)，轉而向“大規(guī)模定制”的生產(chǎn)方式轉型，傳統(tǒng)的科層制是建立在大規(guī)模生產(chǎn)基礎上的，因此也面臨組織模式轉換，向扁平化、自組織的方式轉變。
而中臺建設真正困難的是組織上的重構，這往往是大家有意無意避而不談的。
中臺戰(zhàn)略的成功、能否實現(xiàn)技術架構與組織架構的匹配，是一道繞不過去、但必須要邁過的門檻。從阿里成立共享事業(yè)部，海爾的人單合一、職能并聯(lián)，到近期大家關注的騰訊的組織架構重構都是這些企業(yè)在這方面做出的努力。
11
本文要點小結
1、阿里數(shù)據(jù)中臺全景圖。阿里數(shù)據(jù)中臺在架構的組成上，呈現(xiàn)了一個“四橫三縱”的結構，底層的基礎設施來自于阿里云平臺。
2、阿里“雙中臺”共同支撐的“大中臺 小前臺”架構。業(yè)務中臺與數(shù)據(jù)中臺相輔相成、互相支撐，一起構建起了戰(zhàn)場強大的后方炮火群和雷達陣。
3、阿里數(shù)據(jù)中臺OneData體系。OneData體系建立的集團數(shù)據(jù)公共層，從設計、開發(fā)、部署和使用上保障了數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，實現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路管理，提供標準數(shù)據(jù)輸出。
4、數(shù)據(jù)中臺PasS層Dataphin。PasS層產(chǎn)品Dataphin如引擎般存在，下到規(guī)劃數(shù)倉，上至輸出主題式服務。
5、Quick BI助力云上企業(yè)數(shù)據(jù)分析。能夠賦予一線業(yè)務人員智能化的分析工具，真正的做到了“數(shù)據(jù)化運營”讓數(shù)據(jù)產(chǎn)生價值。
6、阿里大數(shù)據(jù)能力框架。數(shù)據(jù)中臺極大的豐富和完善了阿里巴巴大數(shù)據(jù)中心，OneData、OneID、OneService漸趨成熟并成為上至CEO、下至一線員工共識的方法論體系。
7、阿里數(shù)據(jù)中臺演進的四個階段。數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)平臺、數(shù)據(jù)中臺。
8、數(shù)據(jù)中臺的建設步驟。組織架構升級、工作方式的改變、角色的轉換、適合企業(yè)特點。
9、阿里中臺建設方法論。中臺建設和基礎協(xié)議、中心化操控單元。
10、阿里的組織中臺：數(shù)據(jù)中臺的組織保證。阿里人力三支柱、公共事業(yè)部的組織架構升級。
