一、數(shù)據(jù)標準概述
1.定義
數(shù)據(jù)是由特定的環(huán)境產(chǎn)生的，這些環(huán)境因素包括生產(chǎn)者，時間，系統(tǒng)等， 這就造成了同一個語義的數(shù)據(jù)，會有多種不同的定義方法，這給后期進行數(shù)據(jù)匯集和整合帶來障礙，因此，數(shù)據(jù)處理的前奏就是數(shù)據(jù)標準化，數(shù)據(jù)標準作為一個統(tǒng)一的數(shù)據(jù)共識，在企業(yè)的標準化中起到重要作用。
數(shù)據(jù)標準一般包括下面幾個，為了統(tǒng)一本文閱讀共識，列出如下：
基礎(chǔ)數(shù)據(jù)標準：標準是針對數(shù)據(jù)原始定義，一般面向原系統(tǒng)數(shù)據(jù)或ODS層數(shù)據(jù)。包括業(yè)務(wù)語義，管理標準，技術(shù)規(guī)范，質(zhì)量要求等。
指標體系：標準針對衍生型數(shù)據(jù)，一般面向集市層的報表等計算型數(shù)據(jù)。
標準代碼：具體指數(shù)據(jù)標準中的枚舉值和語義，可以作為基礎(chǔ)數(shù)據(jù)標準的一部分，數(shù)據(jù)標準維度也是大部分來源于此。
標準編碼：特指主數(shù)據(jù)治理中的實體對象數(shù)據(jù)的唯一編碼和規(guī)則，比如設(shè)備唯一編碼。
業(yè)務(wù)術(shù)語詞典：指企業(yè)數(shù)據(jù)定義過程中，從業(yè)務(wù)名詞到物理表和字段的標準化翻譯的詞根和詞素。
其他規(guī)范：包括數(shù)據(jù)庫設(shè)計規(guī)范，元數(shù)據(jù)規(guī)范，模型規(guī)范等，具體可以在其他治理活動下定義，也是廣義數(shù)據(jù)數(shù)據(jù)標準的一部分。
一般情況下，本文所述的數(shù)據(jù)標準落標主要指：
（a）基礎(chǔ)標準落標 （c） 標準代碼落標 （e） 命名標準落標
指標體系的落標因為在數(shù)據(jù)后期，是比較容易實現(xiàn)的，因此不在重點討論中。標準編碼則特定于主數(shù)據(jù)治理過程中實現(xiàn)，不在此贅述。
2.落標概述
數(shù)據(jù)標準的落標意義在于，企業(yè)由此開始進行數(shù)據(jù)驅(qū)動文化，開始從源頭進行數(shù)據(jù)的標準化生產(chǎn)，加速數(shù)據(jù)的融合與統(tǒng)一的效率，節(jié)省大量數(shù)據(jù)應(yīng)用和處理的成本。
數(shù)據(jù)標準的落標程度可以分為基本拉通型落標和全局管控型落標。
基本拉通型落標是指設(shè)計的數(shù)據(jù)元素符合數(shù)據(jù)標準的基本語義和業(yè)務(wù)規(guī)則，物理定義符合技術(shù)規(guī)范，具體數(shù)據(jù)語義可以進行無規(guī)范的衍生。 落標范圍重點是核心業(yè)務(wù)系統(tǒng)的核心標準和交叉標準，還有數(shù)據(jù)倉庫系統(tǒng)的。這種類型適合中小銀行的上手階段，以及沒有重大系統(tǒng)升級機會的系統(tǒng)，其核心目的是減少數(shù)據(jù)融合成本，加速數(shù)據(jù)消費的效力，適合進行數(shù)據(jù)化驅(qū)動轉(zhuǎn)型的企業(yè)。
全局管控型落標是指設(shè)計的數(shù)據(jù)元素符合數(shù)據(jù)標準的基本語義和業(yè)務(wù)規(guī)則，物理定義符合技術(shù)規(guī)范，具體的物理數(shù)據(jù)語義需要進行有規(guī)范的衍生，數(shù)據(jù)質(zhì)量需要落地為數(shù)據(jù)庫約束或者質(zhì)量驗核規(guī)則。 落標范圍是核心業(yè)務(wù)系統(tǒng)和重點業(yè)務(wù)系統(tǒng)，以及數(shù)據(jù)倉庫等衍生系統(tǒng)。這種適合IT能力強，數(shù)據(jù)基礎(chǔ)好的企業(yè)。其核心目標是掌控企業(yè)全局數(shù)據(jù)，做到數(shù)據(jù)快速迭代，適合致力于打造數(shù)據(jù)快速創(chuàng)新型企業(yè)。
3.落標過程中的衍生
數(shù)據(jù)在落標過程中是可以進行一定程度的數(shù)據(jù)語義衍生的，比如電話號碼 衍生為供應(yīng)商電話。如果衍生的字段有確實的細化語義，或者其他業(yè)務(wù)要求，就需要也有一些數(shù)據(jù)標準需要定義為子類標準或者同義標準。
子類標準
當(dāng)一類數(shù)據(jù)標準有進行細化的必要，并帶來特定的語義和業(yè)務(wù)規(guī)則，就需要在原有標準上進行衍生。比如“電話“衍生為”手機“和“座機“，這是因為這兩類衍生標準帶來不同的業(yè)務(wù)屬性，不同的數(shù)據(jù)格式，以及不同質(zhì)量檢查規(guī)則。
也有一些可以不進行標準級別的衍生，比如“姓名“，具體語義的設(shè)計可能是“客戶姓名”和“供應(yīng)商姓名“，這兩個衍生可以不作為子類標準制定，這是因為業(yè)務(wù)語義是因為數(shù)據(jù)所在的語義環(huán)境變化，本質(zhì)并沒有不同。
同義詞
同一類語義標準，在不同的業(yè)務(wù)口徑中或者不同的人群中，會有不同的名詞，比如保單號和保單代碼是同一語義的名詞。這時候需要將兩者定義為同義詞，并在每一個定義時，標注清楚使用語境。
4.落標難點
我國銀行業(yè)的數(shù)據(jù)治理已經(jīng)開展十幾年，在有數(shù)據(jù)監(jiān)管驅(qū)動和自身數(shù)據(jù)價值挖掘的驅(qū)動下，大部分行已經(jīng)進行了數(shù)據(jù)標準框架定義和梳理，發(fā)布了各個板塊的數(shù)據(jù)標準指導(dǎo)文件，有的甚至落實了數(shù)據(jù)標準流程和人員角色。然而數(shù)據(jù)標準的落標在大部分普通銀行仍然是個不是很理想。
現(xiàn)在數(shù)據(jù)標準梳理和發(fā)布是比較容易的事情，各咨詢廠商手里也積攢了大量各個行積累的數(shù)據(jù)標準，可以比較全面的提交給各個銀行。可是落標不理想的原因我認為有這么幾個問題。
存量數(shù)據(jù)大，積重難返
根據(jù)破窗常理，沒人在乎再多一塊破窗戶。數(shù)據(jù)業(yè)務(wù)系統(tǒng)絕大部分已經(jīng)建設(shè)完成，木已成舟，不標準也沒法修改了。
開發(fā)設(shè)計規(guī)范不重視
開發(fā)團隊的責(zé)任和考核點主要是系統(tǒng)上線，支撐業(yè)務(wù)，在開發(fā)團隊的很多人看來，數(shù)據(jù)標準化的設(shè)計是一個可選項，影響上線時間才是大事。
標準落標不方便，影響效率
我看過很多家咨詢公司的數(shù)據(jù)標準，技術(shù)規(guī)范普遍缺失。這證明標準開始就沒有認真考慮落標問題，這就造成落標很不方便，先在Excel里查找，再手工拷貝，再類型翻譯，確實影響效率。
監(jiān)管與激勵缺失，落與不落都一樣
現(xiàn)在的數(shù)據(jù)結(jié)構(gòu)和字典中，落標與不落標是沒有量化跟蹤的，這直接造成激勵與認責(zé)無法落地執(zhí)行。
人力與關(guān)注點缺失，沒人管
普通銀行并不像四大行那樣人財雄厚，數(shù)據(jù)治理工作普遍是3-4個人兼職完成，日常被大部分其他工作排滿，不可能把這項工作量化起來，也無從著手。
二、國內(nèi)外銀行落標簡介
為了認真的研究這個命題，我們決定調(diào)查幾個國內(nèi)落標的典型案例，看看我們能從中學(xué)習(xí)點什么。調(diào)查從總體看思路，細節(jié)不符之處在所難免，望讀者不吝指出共同完善。
1.建設(shè)銀行落標方法
建設(shè)銀行從2014年新一代項目時，開始大力度的進行徹底的和全方位的數(shù)據(jù)標準落地工程。建行師從IBM的四層模型法，通過九大銀行業(yè)概念設(shè)計了企業(yè)級邏輯模型。依托于此企業(yè)級邏輯模型，打造了企業(yè)級數(shù)據(jù)字典。通過設(shè)立數(shù)據(jù)標準處和架構(gòu)處，進行了流程和規(guī)范管制，進行強力度的模型和數(shù)據(jù)的落標管理。具體請看我畫的一個示意圖：
（建行落標示意圖）
從示意圖看出，建行采用了源頭控制的方法，基于建行的得天獨厚的邏輯模型優(yōu)勢，打造了一個企業(yè)級的數(shù)據(jù)字典，由于業(yè)務(wù)系統(tǒng)從C模型繼承開發(fā)，所以存量問題基本得到解決。
從模型開發(fā)設(shè)計階段開始，模型團隊就要根據(jù)現(xiàn)有標準進行落標的設(shè)計，溝通方式可以是電話或郵件，通過長期工作，效率基本不影響開發(fā)進度。缺失的標準通過標準組來進行更改和維護。
測試階段，需要提交數(shù)據(jù)字典映射到企業(yè)級數(shù)據(jù)字典，每一個新數(shù)據(jù)項的增加都可以說明這是或者不是標準，都會記錄在案。
核檢階段，現(xiàn)在主要是送數(shù)過程中進行檢查，不通過將不能向后臺送數(shù)。近期要進行上線核檢，提高落標的早期檢查力度。
2.國外銀行業(yè)落標
作為Erwin的開發(fā)者，在外企的數(shù)據(jù)管理領(lǐng)域工作多年，對國外數(shù)據(jù)管理有較多認識，接觸過很多國外銀行業(yè)客戶，如SunTrust，蘇格蘭皇家銀行，citibank等。 今年5月份有幸參加了國外的EDW大會。我發(fā)現(xiàn)了國外確實數(shù)據(jù)發(fā)展階段與我國有很大不同。
國外普遍比較重視數(shù)據(jù)建模工作，業(yè)務(wù)系統(tǒng)成熟多年，數(shù)據(jù)的修改全部由模型工具控制。會有專業(yè)的建模師和架構(gòu)師來貫徹落標工作。同時，模型工具也已經(jīng)標準化和全局推廣了，在EDW大會上很少聽到由討論落標的話題，在他們的意識里，落標已經(jīng)固化在建模過程中完成，甚至元數(shù)據(jù)管理也較少話題，因為也已經(jīng)成為廣泛共識。相反，他們非常多的談的是Business Glossary， 國內(nèi)卻很少提及。
總結(jié)一下，國外的系統(tǒng)建設(shè)期，因為在建模理論和系統(tǒng)化設(shè)計思維方面的優(yōu)勢，再加上企業(yè)管理制度的方面比較成熟，銀行業(yè)的數(shù)據(jù)建模工具的使用率非常高，使得數(shù)據(jù)的早期落標得到較徹底的執(zhí)行。同時，早期的數(shù)據(jù)標準問題也基本到現(xiàn)在有了成熟的解決路徑。
三、模型驅(qū)動的標準落標方案
1.落標關(guān)鍵點剖析
根據(jù)筆者的經(jīng)驗與實踐，數(shù)據(jù)標準的落標需要重點考慮三大問題：
問題1：什么數(shù)據(jù)需要制定哪些標準
問題2：什么系統(tǒng)落什么標準
問題3：什么人與什么時間執(zhí)行
如果這三個問題沒有想清楚，基本數(shù)據(jù)標準的梳理會停留在Excel層面，標準的政策會停留在墻上，無法走入每個設(shè)計者的頭腦和每個系統(tǒng)的每個字段。
我們先來說第一個問題，什么數(shù)據(jù)需要制定標準，首先我們回到數(shù)據(jù)標準所要解決問題的初衷，數(shù)據(jù)標準主要解決數(shù)據(jù)在共享，融合，匯集應(yīng)用中的不一致問題。好的，那么我們看哪些數(shù)據(jù)會出現(xiàn)在這個這三個環(huán)節(jié)中，以及哪些容易出現(xiàn)問題。對于與一個企事業(yè)組織來說，按照價值鏈，一般關(guān)注三大要素：客戶，產(chǎn)品，大運營。IBM和TD將銀行業(yè)劃分為九大概念數(shù)據(jù)，也是圍繞客戶與產(chǎn)品的大運營活動細分。那么有如下幾類數(shù)據(jù)會在數(shù)據(jù)應(yīng)用過程中，會更多出現(xiàn)融合和匯總的機會，需要格外注意。
第二個問題和第三個問題是實際工作中非常困擾的，落標的大多數(shù)困難與此有關(guān)，因此我將其放在一起來說明。一般我將系統(tǒng)與數(shù)據(jù)分列如下列表：
總結(jié)
通過這個表格的內(nèi)容，我們發(fā)現(xiàn)數(shù)據(jù)標準從源頭落地，會減少數(shù)據(jù)的處理成本，提高數(shù)據(jù)應(yīng)用的效益，缺點是對于存量系統(tǒng)和外購系統(tǒng)存在較大改動風(fēng)險和成本。如果從數(shù)據(jù)的倉庫層進行落標，比較容易著手處理，落標后的下游數(shù)據(jù)系統(tǒng)則自動統(tǒng)一數(shù)據(jù)標準，然而數(shù)倉層的報表應(yīng)用與業(yè)務(wù)系統(tǒng)的報表存在口徑不一致性在所難免，仍然需要源數(shù)據(jù)層進行必要調(diào)整。
無論從哪一層入手，模型的優(yōu)良設(shè)計環(huán)節(jié)都是必要條件，否則整個落標過程會沒有抓手，流程也不順暢。
2.落標整體方案
無論是原系統(tǒng)數(shù)據(jù)還是數(shù)倉數(shù)據(jù)，都是不同的開發(fā)團隊負責(zé)，遵循軟件開發(fā)標準的流程包括設(shè)計，開發(fā)，測試，上線，維護等環(huán)節(jié)，因此我們需要在這個過程中，將數(shù)據(jù)標準這個優(yōu)良的炮彈，送到最前線，同時，管理團隊需要參與這個過程的關(guān)鍵節(jié)點中，這需要企業(yè)在數(shù)據(jù)管理上提高管理和執(zhí)行水平。
鑒于普通銀行當(dāng)前的數(shù)據(jù)基礎(chǔ)水平，數(shù)據(jù)的落標同樣受到人力和財力的制約。所以一個自動化水平非常高的落標方案是非常切合我國普通銀行的發(fā)展階段的。因此，本落標方案的關(guān)鍵思想是在開發(fā)階段由模型設(shè)計人員進行落標，標準管理和架構(gòu)管理人員進行評審和核準，同時，自動檢測能力來提高執(zhí)行水平和激勵環(huán)節(jié)的落地。
《自動化落標方案》
基礎(chǔ)數(shù)據(jù)標準落標白皮書下篇，繼續(xù)為您詳盡解答模型落標方案是如何進行的，企業(yè)從標準準備到員工角色的分配及具體數(shù)據(jù)落標的處理是如何逐步實現(xiàn)。
