一、概述
數(shù)據(jù)資產(chǎn)是數(shù)據(jù)管理和應(yīng)用領(lǐng)域經(jīng)常被提到的概念，數(shù)據(jù)中臺的目的就是將數(shù)據(jù)轉(zhuǎn)變?yōu)閿?shù)據(jù)資產(chǎn)。數(shù)據(jù)資產(chǎn)是由企業(yè)擁有或控制，能夠為企業(yè)帶來經(jīng)濟利益的數(shù)據(jù)資源。可明確作為“資產(chǎn)”的數(shù)據(jù)資源，表現(xiàn)為以下兩種形式:可幫助現(xiàn)有產(chǎn)品實現(xiàn)收益的增長;數(shù)據(jù)本身可產(chǎn)生價值。數(shù)據(jù)資產(chǎn)一定是有價值的數(shù)據(jù)，沒有價值的數(shù)據(jù)不能稱為數(shù)據(jù)資產(chǎn)。
什么樣的數(shù)據(jù)能成為數(shù)據(jù)資產(chǎn)呢？比如，大型集團集采平臺基于供應(yīng)商數(shù)據(jù)、采購業(yè)務(wù)數(shù)據(jù)、物資數(shù)據(jù)做出推薦系統(tǒng)，這個推薦系統(tǒng)提升了采購體驗，提高了采購效率，降低了采購成本，這些整合后的供應(yīng)商數(shù)據(jù)、采購業(yè)務(wù)數(shù)據(jù)、物資數(shù)據(jù)就是數(shù)據(jù)資產(chǎn)。但是，現(xiàn)在一些企業(yè)沒有統(tǒng)一的定義數(shù)據(jù)的標(biāo)準(zhǔn)，沒有統(tǒng)一的數(shù)據(jù)存儲規(guī)范，只是粗放地收集數(shù)據(jù)，把數(shù)據(jù)散亂地存放在服務(wù)器里，這些數(shù)據(jù)不能被組織和利用，就不能成為數(shù)據(jù)資產(chǎn)。因此我們需要一套標(biāo)準(zhǔn)的指標(biāo)體系和模型體系來定義和存儲數(shù)據(jù)，標(biāo)準(zhǔn)化輸出數(shù)據(jù)能力，讓數(shù)據(jù)成為資產(chǎn)。
二、數(shù)據(jù)指標(biāo)體系
1、數(shù)據(jù)指標(biāo)的定義
指標(biāo)是公司在經(jīng)營和生產(chǎn)管理過程中衡量某一個目標(biāo)或事物的數(shù)據(jù)，包含指標(biāo)名稱和定義、計算單位、計算方法、維度和指標(biāo)數(shù)值等要素。通過指標(biāo)的拆解定義一套沒有歧義、標(biāo)準(zhǔn)一致的數(shù)據(jù)指標(biāo)體系，只有增長指標(biāo)才能指導(dǎo)企業(yè)如何行動，從而實現(xiàn)企業(yè)價值增長。
2、數(shù)據(jù)指標(biāo)的重要性
要想發(fā)揮數(shù)據(jù)中臺的核心作用，要做的第一件事就是梳理公司的數(shù)據(jù)指標(biāo)體系。在實際項目中，當(dāng)梳理公司的指標(biāo)時，我們會發(fā)現(xiàn)每個部門對同一個指標(biāo)的定義有可能是不一致的，甚至一個部門內(nèi)的人員對同一個指標(biāo)的理解都有可能不同，由于每個部門職責(zé)不同，他們通常只會站在本位角度上定義指標(biāo)，而每個人看待和理解這個世界的角度也是不同的，所以他們通常會站在自己的角度上定義指標(biāo)。
通常各部門根據(jù)自身業(yè)務(wù)需要，都有一部分的量化指標(biāo)，但不夠全面，也缺乏方法論指導(dǎo)，對于企業(yè)整體數(shù)據(jù)分析應(yīng)用能力提升的指導(dǎo)作用有限；由于缺乏整體考量而設(shè)置的指標(biāo)體系，以及錯誤的指標(biāo)分析方法，會產(chǎn)生錯誤的分析結(jié)果，進(jìn)而影響運營層面、產(chǎn)品改進(jìn)方面的決策。另外，如果標(biāo)準(zhǔn)不統(tǒng)一，就很難進(jìn)行部門間的橫向?qū)Ρ?/strong>。比如部門A提交的年交易額是10萬元，部門B提交的該年交易額是50萬元，如果沒有統(tǒng)一的標(biāo)準(zhǔn)，我們就無法衡量50萬元的交易額比10萬元的交易額的價值高。一個指標(biāo)的開發(fā)過程涉及業(yè)務(wù)部門、管理部門、技術(shù)部門等，溝通成本很高，只要一個環(huán)節(jié)理解不對，指標(biāo)的計算結(jié)果就會不準(zhǔn)確。因此，為公司建立一套清晰、沒有歧義的指標(biāo)體系是數(shù)據(jù)中臺需要承擔(dān)的一項十分重要的工作。
3、如何定義數(shù)據(jù)指標(biāo)
那如何讓指標(biāo)定義清晰且沒有歧義呢？解決這個問題的核心方法就是拆解：將一個數(shù)據(jù)指標(biāo)拆解到不能再繼續(xù)拆解為止，這樣就能夠最大限度地保證理解無誤。
首先定義出這個指標(biāo)所屬的業(yè)務(wù)板塊和數(shù)據(jù)域，接下來定義這個指標(biāo)的業(yè)務(wù)過程（如銷售領(lǐng)域的價格、銷量、收入等）。接著要判斷這個指標(biāo)是一個原子指標(biāo)還是一個派生指標(biāo)，如果是一個派生指標(biāo)，這個指標(biāo)的時間周期、修飾詞分別是什么；通過什么衡量這個指標(biāo)，最后要定義這個指標(biāo)的統(tǒng)計維度是什么，這些維度的屬性有哪些。經(jīng)過這樣一層一層的拆解，每個指標(biāo)會歸入不同的類別，因為每個指標(biāo)都有各個維度清晰的定義，只要公司內(nèi)所有人都以這份定義為準(zhǔn)，歧義就不會產(chǎn)生。
（1）業(yè)務(wù)板塊：即面向行業(yè)的業(yè)務(wù)，也就是公司的業(yè)務(wù)線，不會經(jīng)常變。比如一個公司有六大業(yè)務(wù)分別是油氣、煉油和化工、礦業(yè)、裝備制造、光伏、科研，那么這六個業(yè)務(wù)就分別屬于不同的業(yè)務(wù)板塊。
（2）數(shù)據(jù)域：數(shù)據(jù)所屬的領(lǐng)域。例如，銷售、生產(chǎn)、庫存都屬于數(shù)據(jù)域。
（3）業(yè)務(wù)過程：完成某個業(yè)務(wù)所涉及的全部過程。如銷售業(yè)務(wù)中的定價、尋客、銷售、回款等環(huán)節(jié)都屬于業(yè)務(wù)過程。
（4）時間周期：就是統(tǒng)計的時間范圍，如“近30天”“自然周”“截止到當(dāng)天”等。
（5）修飾類型：對修飾詞的描述。如供應(yīng)商中的信用級別、所屬區(qū)域等。
（6）修飾詞：除了維度以外的限定詞，如支付方式中的電匯、支票、承兌等。
（7）原子指標(biāo)：即不可再拆分的指標(biāo)，比如支付金額、支付件數(shù)等指標(biāo)。
（8）維度：是指度量單位，用來反映業(yè)務(wù)的一類屬性。常見的維度有地理維度（國家、地區(qū)等）、時間維度（年、月、周、日等）、訂單的維度等。
（9）屬性：隸屬于維度。如地理維度中的國家名稱、省份名稱等都屬于屬性。
（10）派生指標(biāo)：一組對應(yīng)的原子指標(biāo)、修飾詞、時間周期就組成了一個派生指標(biāo)。
接下來我們通過一個實際的案例來看下制定指標(biāo)的方法。
為確保指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)定義的完整與嚴(yán)謹(jǐn)，我們形成了一整套指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)的信息項屬性架構(gòu)。
通過對業(yè)務(wù)的全面梳理和分析，歸納并定義了 5 大主題 36 個子主題域共 2083 個指標(biāo)，來反映公司關(guān)鍵數(shù)據(jù)指標(biāo)的分布。
根據(jù)公司實際情況，制定數(shù)據(jù)指標(biāo)體系建設(shè)4步走的推進(jìn)路線，即 收集 → 梳理 → 討論 → 統(tǒng)一 ，有序推進(jìn)項目進(jìn)展，實現(xiàn)集團和園區(qū)層面的數(shù)據(jù)指標(biāo)體系統(tǒng)一、完整、準(zhǔn)確。
最后為了保證數(shù)據(jù)指標(biāo)的一致性，公司的數(shù)據(jù)指標(biāo)應(yīng)該交由數(shù)據(jù)中臺負(fù)責(zé)部門統(tǒng)一管理，公司內(nèi)所有部門應(yīng)該以這套指標(biāo)體系為準(zhǔn)，如果有對指標(biāo)的新增或者修改，首先要通知數(shù)據(jù)中臺負(fù)責(zé)部門，然后再同步給公司其他部門。這套指標(biāo)體系的定義如同公司的法律，必須人人遵守，這樣就能最大程度地保證指標(biāo)的一致性和統(tǒng)計數(shù)據(jù)的合理性。
三、數(shù)據(jù)模型設(shè)計
要想了解為什么要進(jìn)行數(shù)據(jù)模型設(shè)計，首先我們要了解一些概念，比如什么是數(shù)據(jù)庫、什么是數(shù)據(jù)倉庫、數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別是什么、數(shù)據(jù)倉庫為什么要分層存儲。
1、什么是數(shù)據(jù)庫和數(shù)據(jù)倉庫
假設(shè)公司領(lǐng)導(dǎo)讓你統(tǒng)計公司當(dāng)月的總交易額，如果你的公司只有一條產(chǎn)品線，那么這項工作就十分簡單。
首先，你可以從業(yè)務(wù)系統(tǒng)中提取產(chǎn)品線的全部訂單，接著，你可以提取當(dāng)月的訂單，并針對下單金額做匯總。最后，你就可以將匯總計算出的交易額數(shù)據(jù)準(zhǔn)確無誤地提交給領(lǐng)導(dǎo)。
但是如果你所在的公司是一家大型多元化集團公司，公司內(nèi)部有多個板塊，你的領(lǐng)導(dǎo)要求你匯總各板塊當(dāng)月的總交易額，你應(yīng)該怎么做？在沒有數(shù)據(jù)倉庫的情況下，你會這樣處理：首先統(tǒng)計公司有多少條業(yè)務(wù)板塊；然后找到每個業(yè)務(wù)板塊的業(yè)務(wù)負(fù)責(zé)人，索要當(dāng)月該板塊的訂單；接著將所有訂單匯總到Excel中，這時候你會發(fā)現(xiàn)，因為業(yè)務(wù)形態(tài)的不同，各板塊給你的訂單數(shù)據(jù)沒有統(tǒng)一的標(biāo)準(zhǔn)，比如訂單狀態(tài)，每個板塊都會有自己的標(biāo)準(zhǔn)。你應(yīng)該以怎么樣的口徑統(tǒng)計每個板塊的交易額呢？因為標(biāo)準(zhǔn)不統(tǒng)一，會導(dǎo)致你的工作效率很低，而且統(tǒng)計的數(shù)據(jù)不一定準(zhǔn)確。
而如果有了數(shù)據(jù)倉庫，你就可以提前對每個板塊做調(diào)研，統(tǒng)一交易額的口徑（包括業(yè)務(wù)口徑、技術(shù)口徑、計算方式、統(tǒng)計周期等）。因為交易額屬于交易主題域，你可以針對交易主題域進(jìn)行主題建模，比如你需要統(tǒng)計1月份集團所有板塊的交易額，那么統(tǒng)計維度就是時間，指標(biāo)就是交易額。在建模完成后，數(shù)據(jù)開發(fā)工程師可以將業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)定時同步到數(shù)據(jù)倉庫，接著數(shù)據(jù)開發(fā)工程師可以針對已經(jīng)匯總好的訂單數(shù)據(jù)按照月份的維度做進(jìn)一步匯總統(tǒng)計并存儲下來，因為提前做了匯總，那么下次你就可以直接從數(shù)據(jù)倉庫中取出當(dāng)月公司的任何板塊的交易額，很快就能解決任務(wù)。
通過以上案例我們可以看出數(shù)據(jù)庫與數(shù)據(jù)倉庫的用途是完全不同的。數(shù)據(jù)庫和數(shù)據(jù)倉庫雖然都是用來存儲數(shù)據(jù)的，但數(shù)據(jù)庫是用來存儲業(yè)務(wù)數(shù)據(jù)的，而數(shù)據(jù)倉庫是用來存儲匯總后的報表數(shù)據(jù)的。
什么是業(yè)務(wù)數(shù)據(jù)呢？業(yè)務(wù)數(shù)據(jù)就是對現(xiàn)實業(yè)務(wù)的數(shù)據(jù)虛擬，比如訂單業(yè)務(wù)數(shù)據(jù)就是記錄客戶在什么時間買了什么產(chǎn)品；客戶數(shù)據(jù)庫，用于記錄客戶的數(shù)據(jù)比如公司名稱、社會統(tǒng)一信用代碼等信息；產(chǎn)品數(shù)據(jù)庫，用于記錄產(chǎn)品的相關(guān)信息如類別、規(guī)格、型號等。
數(shù)據(jù)倉庫的主要作用是存儲匯總統(tǒng)計的數(shù)據(jù)，以支撐公司的決策分析。一般來說，數(shù)據(jù)倉庫的數(shù)據(jù)量是比較大的，而且其匯總統(tǒng)計的數(shù)據(jù)一般是不會再有變化的，比如上文提到的公司當(dāng)月的交易額，這個匯總的數(shù)據(jù)不會因為新增的訂單而變化，而業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)量會隨著用戶的交易次數(shù)增多而增多。如果公司業(yè)務(wù)比較簡單，那么就沒有必要搭建數(shù)據(jù)倉庫，基于數(shù)據(jù)庫已經(jīng)足夠做統(tǒng)計分析了，但是多元化集團公司要做大量的數(shù)據(jù)分析時，就適合搭建數(shù)據(jù)倉庫。
2、數(shù)據(jù)倉庫的分層建模體系
數(shù)據(jù)中臺數(shù)據(jù)模型的分層建設(shè)業(yè)界比較通用的分層方式是將數(shù)據(jù)模型分為四層：
①ODS層（Operate Data Store，操作數(shù)據(jù)層）和DIM層（Dimension，維度數(shù)據(jù)層）；
②DWD層（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）；
③DWS層（Data Warehouse Service，匯總數(shù)據(jù)層）；
④ADS層（Application Data Store，應(yīng)用數(shù)據(jù)層）。
第一層是ODS層和DIM層。ODS層數(shù)據(jù)是數(shù)據(jù)倉庫的第一層數(shù)據(jù)，是業(yè)務(wù)數(shù)據(jù)庫的原始數(shù)據(jù)的復(fù)制，例如，生產(chǎn)相關(guān)的產(chǎn)能、產(chǎn)量、用料等數(shù)據(jù)一般都是原封不動地同步到數(shù)據(jù)中臺的ODS層中的。ODS層的作用是在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間形成一個隔離層，在數(shù)據(jù)中臺進(jìn)行計算任務(wù)時，可以以O(shè)DS層的數(shù)據(jù)為基礎(chǔ)進(jìn)行計算，從而不給業(yè)務(wù)數(shù)據(jù)庫增加負(fù)擔(dān)。DIM層存儲的是維度數(shù)據(jù)，如月份、類別、車間等維度的數(shù)據(jù)。
第二層是DWD層。DWD層數(shù)據(jù)是數(shù)據(jù)倉庫的第二層數(shù)據(jù)，一般基于ODS層和DIM層的數(shù)據(jù)做輕度匯總。DWD層存儲經(jīng)過處理后的標(biāo)準(zhǔn)數(shù)據(jù)，需要對ODS層數(shù)據(jù)進(jìn)行再次清洗（如去空/臟數(shù)據(jù)、超過期限的數(shù)據(jù)等操作）。DWD層的結(jié)構(gòu)和粒度一般與ODS層保持一致，但是DWD層匯總了DIM層的維度數(shù)據(jù)，比如在ODS層只能看到A車間的產(chǎn)量數(shù)據(jù)，但是在DWD層不但能看到A車間的產(chǎn)量數(shù)據(jù)，還能看到B車間的產(chǎn)量數(shù)據(jù)。
第三層是DWS層。DWS層數(shù)據(jù)是數(shù)據(jù)倉庫的第三層數(shù)據(jù)，是以DWD層的數(shù)據(jù)為基礎(chǔ)進(jìn)行匯總計算的數(shù)據(jù)。DWS層數(shù)據(jù)都是各個維度的匯總數(shù)據(jù)，比如某日某車間的生產(chǎn)總量、物料消耗數(shù)量、設(shè)備開機數(shù)量、開機時間、工時總量等。
第四層是ADS層。ADS層數(shù)據(jù)是數(shù)據(jù)倉庫的最后一層數(shù)據(jù)，以DWS層數(shù)據(jù)為基礎(chǔ)進(jìn)行數(shù)據(jù)處理。ADS層的最主要目的就是給數(shù)據(jù)可視化應(yīng)用提供最終的數(shù)據(jù)。后端開發(fā)工程師基于ADS層的數(shù)據(jù)將最終數(shù)據(jù)結(jié)果以接口的形式展示給數(shù)據(jù)中臺的應(yīng)用層。
數(shù)據(jù)倉庫為什么要分層建模呢？我們還是通過實際案例來理解。假設(shè)還是要統(tǒng)計A產(chǎn)品當(dāng)月的交易額，如果沒有采用分層建模，那么數(shù)據(jù)統(tǒng)計就是以結(jié)果為導(dǎo)向的，直接提取業(yè)務(wù)數(shù)據(jù)庫中的A產(chǎn)品的訂單時間、訂單金額，然后篩選時間為當(dāng)月的訂單，并基于訂單金額做匯總計算，最后通過接口的方式將數(shù)據(jù)輸出到應(yīng)用層。
如果采用分層建模，第一步是將業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)同步到ODS層中，將維度數(shù)據(jù)存儲在DIM層中，第二步是通過DWD層豐富統(tǒng)計指標(biāo)的維度，本文中的需求是時間維度，可以預(yù)先增加其他常用的維度如區(qū)域、行業(yè)的維度，第三步是在DWD層中匯總各個維度的交易額，第四步是基于當(dāng)前的需求，計算出A產(chǎn)品的當(dāng)月交易額，在ADS層提供要顯示的數(shù)據(jù)。
在實際數(shù)據(jù)中臺項目中針對數(shù)據(jù)指標(biāo)的開發(fā)，有以下兩種情況比較常見。
（1）數(shù)據(jù)指標(biāo)口徑發(fā)生變化。隨著業(yè)務(wù)的變化，數(shù)據(jù)指標(biāo)的統(tǒng)計口徑不是一成不變的，數(shù)據(jù)指標(biāo)經(jīng)常會基于業(yè)務(wù)目標(biāo)的變化而變化，相應(yīng)的統(tǒng)計邏輯也會變化。
（2）增加數(shù)據(jù)指標(biāo)的統(tǒng)計維度。單個維度的數(shù)據(jù)指標(biāo)統(tǒng)計隨著業(yè)務(wù)的發(fā)展有可能不再滿足需求，此時很有可能遇到給數(shù)據(jù)指標(biāo)增加統(tǒng)計維度的情況，數(shù)據(jù)指標(biāo)的統(tǒng)計維度越豐富，就越有利于數(shù)據(jù)分析。
針對這兩種情況我們分別看一下沒有分層建模和分層建模的區(qū)別。
第一種情況：數(shù)據(jù)指標(biāo)的統(tǒng)計口徑發(fā)生了變化。比如統(tǒng)計口徑由之前的統(tǒng)計A產(chǎn)品的當(dāng)月全部訂單的交易額變?yōu)榻y(tǒng)計A產(chǎn)品當(dāng)月的訂單狀態(tài)為“已支付”的訂單的交易額。此時其實數(shù)據(jù)指標(biāo)并沒有發(fā)生變化，仍然叫“交易額”，但是統(tǒng)計口徑發(fā)生了變化。
如果沒有進(jìn)行分層建模，那么對外的接口要增加訂單狀態(tài)篩選的邏輯，再進(jìn)行測試、核對數(shù)據(jù)、發(fā)布新版本接口才能完成針對交易額統(tǒng)計的優(yōu)化。如果進(jìn)行了分層建模，ADS層、DWD層的數(shù)據(jù)是不用變化的，因為業(yè)務(wù)數(shù)據(jù)庫的原始數(shù)據(jù)沒有變化。此外，因為數(shù)據(jù)指標(biāo)的顯示沒有變化，所以只需針對DWS層增加篩選訂單狀態(tài)為“已支付”的統(tǒng)計邏輯，然后由數(shù)據(jù)開發(fā)工程師、測試工程師測試DWS層并統(tǒng)計數(shù)據(jù)即可，不用發(fā)布新版本的對外接口，所以應(yīng)用層并不用再針對接口做對接。
第二種情況：給數(shù)據(jù)指標(biāo)增加統(tǒng)計維度。比如不但要查看A產(chǎn)品的當(dāng)月交易額，還要查看A產(chǎn)品的當(dāng)月不同省份、不同行業(yè)的交易額。如果沒有進(jìn)行分層建模，每增加一個維度就增加一倍的工作量，要重新修改計算邏輯、重新定義對外接口、重新測試、重新發(fā)布新的版本才能完成數(shù)據(jù)指標(biāo)的新的維度統(tǒng)計。
如果進(jìn)行了分層建模，由于DWD層和DWS層已經(jīng)豐富了交易額的維度如區(qū)域、行業(yè)等，那么只需后端開發(fā)工程師在通過接口提取ADS層數(shù)據(jù)時新增維度“省份”和“行業(yè)”的統(tǒng)計結(jié)果，然后重新發(fā)布對外的接口即可，由于新的數(shù)據(jù)指標(biāo)統(tǒng)計不需要數(shù)據(jù)開發(fā)工程師的參與，所以大大減少了數(shù)據(jù)中臺開發(fā)的工作量。
4、綜述
數(shù)據(jù)中臺項目建設(shè)過程中，數(shù)據(jù)模型的科學(xué)性、合理性、高效性是數(shù)據(jù)資源轉(zhuǎn)化為數(shù)據(jù)資產(chǎn)的重要基礎(chǔ)，數(shù)據(jù)指標(biāo)定制的全面性、規(guī)范性、有效性是數(shù)據(jù)中臺發(fā)揮價值的重要保障。因此，企業(yè)在構(gòu)建數(shù)據(jù)中臺時，必須重視數(shù)據(jù)指標(biāo)體系的構(gòu)建和數(shù)據(jù)模型的設(shè)計，必要時引入外部咨詢機構(gòu)和專家力量，避免將數(shù)據(jù)中臺建成數(shù)據(jù)重臺。
歡迎加入數(shù)據(jù)管理者
