這是一個(gè)系列文章，沉淀了我在數(shù)據(jù)治理領(lǐng)域的一些實(shí)踐和思考。共分為5篇：
· 數(shù)據(jù)治理：那些年，我們一起踩過的坑
主要講講數(shù)據(jù)治理工作中常見的一些誤區(qū)。
· 要打仗你手里先得有張地圖：元數(shù)據(jù)管理
這一篇講講元數(shù)據(jù)的概念和具體應(yīng)用場景。
· 不忘初心方得始終：數(shù)據(jù)質(zhì)量管理
本篇講述如何科學(xué)地進(jìn)行數(shù)據(jù)質(zhì)量管理。
· 書同文車同軌：數(shù)據(jù)標(biāo)準(zhǔn)管理
數(shù)據(jù)標(biāo)準(zhǔn)的落地始終是難題。本篇希望能提供一些數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)的思路。
· 大數(shù)據(jù)的淘金之旅：數(shù)據(jù)資產(chǎn)管理
怎么管理和應(yīng)用好這些數(shù)據(jù)資產(chǎn)，是現(xiàn)今數(shù)據(jù)治理的重要研究課題。
大數(shù)據(jù)時(shí)代，數(shù)據(jù)成為社會(huì)和組織的寶貴資產(chǎn)，像工業(yè)時(shí)代的石油和電力一樣驅(qū)動(dòng)萬物，然而如果石油的雜質(zhì)太多，電流的電壓不穩(wěn)，數(shù)據(jù)的價(jià)值豈不是大打折扣，甚至根本不可用不敢用，因此，數(shù)據(jù)治理是大數(shù)據(jù)時(shí)代我們用好海量數(shù)據(jù)的必然選擇。
但大家都知道，數(shù)據(jù)治理是一項(xiàng)長期而繁雜的工作，可以說是大數(shù)據(jù)領(lǐng)域中的臟活累活，很多時(shí)候數(shù)據(jù)治理廠商做了很多工作，客戶卻認(rèn)為沒有看到什么成果。大部分?jǐn)?shù)據(jù)治理咨詢項(xiàng)目都能交上一份讓客戶足夠滿意的答卷，但是當(dāng)把咨詢成果落地到實(shí)處的時(shí)候，因?yàn)榉N種原因，很可能是另一番截然不同的風(fēng)景。如何避免這種情況發(fā)生，是每一個(gè)做數(shù)據(jù)治理的企業(yè)都值得深思的問題。
筆者涉獵大數(shù)據(jù)治理領(lǐng)域有6年多的時(shí)間，負(fù)責(zé)過政府、軍工、航空、大中型制造企業(yè)的數(shù)據(jù)治理項(xiàng)目。在實(shí)踐當(dāng)中有過成功的經(jīng)驗(yàn)，當(dāng)然也經(jīng)歷過很多失敗的教訓(xùn)，在這些過程中，我一直在思考大數(shù)據(jù)治理究竟是在治理什么？要達(dá)到什么樣的合理目標(biāo)？中間應(yīng)該怎么避免走一些彎路？今天就借這個(gè)機(jī)會(huì)跟各位分享一下我曾經(jīng)趟過的坑，希望對大家有一些借鑒意義。
誤區(qū)一：客戶需求不明確
客戶既然請廠商來幫助自己做數(shù)據(jù)治理，必定是看到了自己的數(shù)據(jù)存在種種問題。但是做什么，怎么做，做多大的范圍，先做什么后做什么，達(dá)到什么樣的目標(biāo)，業(yè)務(wù)部門、技術(shù)部門、廠商之間如何配合做······很多客戶其實(shí)并沒有想清楚自已真正想解決的問題。數(shù)據(jù)治理，難在找到一個(gè)切入點(diǎn)。
誤區(qū)二：數(shù)據(jù)治理是技術(shù)部門的事
數(shù)據(jù)問題產(chǎn)生的原因，往往是業(yè)務(wù)>技術(shù)，如：數(shù)據(jù)來源渠道多，責(zé)任不明確，導(dǎo)致同一份數(shù)據(jù)在不同的信息系統(tǒng)有不同的表述；業(yè)務(wù)需求不清晰，數(shù)據(jù)填報(bào)不規(guī)范或缺失，等等。很多表面上的技術(shù)問題，如ETL過程中某代號變更導(dǎo)致數(shù)據(jù)加工出錯(cuò)，影響報(bào)表中的數(shù)據(jù)正確性等，在本質(zhì)上其實(shí)還是業(yè)務(wù)管理的不規(guī)范。
我在與很多客戶做數(shù)據(jù)治理交流的時(shí)候，發(fā)現(xiàn)大部分客戶認(rèn)識不到數(shù)據(jù)質(zhì)量問題發(fā)生的根本原因，只想從技術(shù)維度單方面來解決數(shù)據(jù)問題，這樣的思維方式導(dǎo)致客戶在規(guī)劃數(shù)據(jù)治理的時(shí)候，根本沒有考慮到建立一個(gè)涵蓋技術(shù)組、業(yè)務(wù)組的強(qiáng)有力的組織架構(gòu)和能有效執(zhí)行的制度流程，導(dǎo)致效果大打折扣。
誤區(qū)三：大而全的數(shù)據(jù)治理
出于投資回報(bào)的考慮，客戶往往傾向于做一個(gè)覆蓋全業(yè)務(wù)和技術(shù)域的、大而全的數(shù)據(jù)治理項(xiàng)目。從數(shù)據(jù)的產(chǎn)生，到加工、應(yīng)用、銷毀，數(shù)據(jù)的整個(gè)生命周期他們希望都能管到。從業(yè)務(wù)系統(tǒng)，到數(shù)據(jù)中心，到數(shù)據(jù)應(yīng)用，里面的每個(gè)數(shù)據(jù)他們希望都能被納入到數(shù)據(jù)治理的范圍中來。
但殊不知廣義上的數(shù)據(jù)治理是一個(gè)很大的概念，包括很多內(nèi)容，想在一個(gè)項(xiàng)目里就做完通常是不可能的，而是需要分期分批地實(shí)施，所以廠商如果屈從于客戶的這種想法，很容易導(dǎo)致最后哪個(gè)也做不好，用不起來。所以，我們需要引導(dǎo)客戶，遵循2/8原則——80%的問題產(chǎn)生于20%的系統(tǒng)和數(shù)據(jù)——從最核心的系統(tǒng)、最重要的數(shù)據(jù)、最容易產(chǎn)生問題的地方開始著手做數(shù)據(jù)治理。
誤區(qū)四：工具是萬能的
很多客戶都認(rèn)為，數(shù)據(jù)治理就是花一些錢，買一些工具，認(rèn)為工具就是一個(gè)過濾器，過濾器做好了，數(shù)據(jù)從中間一過，就沒問題了。結(jié)果是：一方面功能越做越多，另一方面實(shí)際上線后，功能復(fù)雜，用戶不愿意用。
其實(shí)上面的想法是一種簡單化的思維，數(shù)據(jù)治理本身包含很多的內(nèi)容——組織架構(gòu)、制度流程、成熟工具、現(xiàn)場實(shí)施和運(yùn)維——這四項(xiàng)缺一不可，工具只是其中一部分內(nèi)容。大家在做數(shù)據(jù)治理最容易忽視的就是組織架構(gòu)和人員配置，但實(shí)際上所有的活動(dòng)流程、制度規(guī)范都需要人來執(zhí)行、落實(shí)和推動(dòng)，沒有對人員的安排，后續(xù)工作很難得到保障。建議大家在做數(shù)據(jù)治理的時(shí)候?qū)⒔M織架構(gòu)放在第一位，有組織的存在，就會(huì)有人去思考這方面的工作，怎么去推動(dòng)，持續(xù)把事情做好，以人為中心的數(shù)據(jù)治理工作，才更容易推廣落地。
誤區(qū)五：數(shù)據(jù)標(biāo)準(zhǔn)難落地
很多客戶一說到數(shù)據(jù)治理，馬上就說我們有很多數(shù)據(jù)標(biāo)準(zhǔn)，但是這些標(biāo)準(zhǔn)卻統(tǒng)統(tǒng)沒有落地，因此，我們要先做數(shù)據(jù)標(biāo)準(zhǔn)的落地。數(shù)據(jù)標(biāo)準(zhǔn)真正落地了，數(shù)據(jù)質(zhì)量自然就好了。
但這種說法其實(shí)混淆了數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)標(biāo)準(zhǔn)化。首先要明白一個(gè)道理：數(shù)據(jù)標(biāo)準(zhǔn)是一定要做的，但是數(shù)據(jù)標(biāo)準(zhǔn)化，也就是數(shù)據(jù)標(biāo)準(zhǔn)的落地，則需要分情況實(shí)施。后續(xù)會(huì)有一篇專門的文章，來討論數(shù)據(jù)標(biāo)準(zhǔn)和標(biāo)準(zhǔn)化工作。
誤區(qū)六：數(shù)據(jù)質(zhì)量問題找出來了，然后呢？
辛辛苦苦建立起來平臺(tái)，業(yè)務(wù)和技術(shù)人員通力合作，配置好了數(shù)據(jù)質(zhì)量的檢核規(guī)則，也找出來了一大堆的數(shù)據(jù)質(zhì)量問題，然后呢？半年之后，一年之后，同樣的數(shù)據(jù)質(zhì)量問題依舊存在。
發(fā)生這種問題的根源在于沒有形成數(shù)據(jù)質(zhì)量問責(zé)的閉環(huán)。要做到數(shù)據(jù)質(zhì)量問題的問責(zé)，首先需要做到數(shù)據(jù)質(zhì)量問題的定責(zé)。定責(zé)的基本原則是：誰生產(chǎn)，誰負(fù)責(zé)。數(shù)據(jù)是從誰那里出來的，誰負(fù)責(zé)處理數(shù)據(jù)質(zhì)量問題。定責(zé)之后是問責(zé)，問責(zé)之后是整改和反饋，然后是質(zhì)量問題的新一輪評估，直至形成績效考核和排名。只有形成這種工作閉環(huán)，才能真正提升數(shù)據(jù)質(zhì)量。
誤區(qū)七：你們好像什么也沒做？
很多數(shù)據(jù)治理的項(xiàng)目難驗(yàn)收，客戶往往有疑問：你們做數(shù)據(jù)治理究竟干了些啥？看你們匯報(bào)說干了一大堆事情，我們怎么什么都看不到？發(fā)生這種情況，原因往往有前面誤區(qū)一所說的客戶需求不明確，誤區(qū)三所說的做了大而全的數(shù)據(jù)治理而難以收尾等，但還有一個(gè)原因不容忽視，那就是沒有讓客戶感知到數(shù)據(jù)治理的成果，可以在成果的可視化呈現(xiàn)，以及平常與客戶的溝通、培訓(xùn)、知識轉(zhuǎn)移等過程中，就數(shù)據(jù)治理的重要性、發(fā)揮的價(jià)值等方面對客戶進(jìn)行潛移默化的影響。
總·結(jié)
在激烈的市場競爭下，大數(shù)據(jù)廠商提出來數(shù)據(jù)治理的各種理念，有的提出覆蓋數(shù)據(jù)全生命周期的數(shù)據(jù)治理，有的提出以用戶為中心的自服務(wù)化數(shù)據(jù)治理，有的提出減少人工干預(yù)、節(jié)省成本的基于人工智能的自動(dòng)化數(shù)據(jù)治理，在面對這些概念的時(shí)候，我們一方面要對數(shù)據(jù)現(xiàn)狀有清晰的認(rèn)識，對數(shù)據(jù)治理的目標(biāo)有明確的訴求，另一方面還要知道數(shù)據(jù)治理中各種常見的誤區(qū)，跨越這些陷阱，才能把數(shù)據(jù)治理工作真正落到實(shí)處，項(xiàng)目取得成效，做到數(shù)據(jù)更準(zhǔn)確，數(shù)據(jù)更好取，數(shù)據(jù)更好用，真正地用數(shù)據(jù)提升業(yè)務(wù)水平。
作者簡介：蔣珍波， 6年+大數(shù)據(jù)治理經(jīng)驗(yàn)，擅長為客戶提供科學(xué)合理的數(shù)據(jù)治理解決方案。曾先后供職于東南融通、軟通動(dòng)力、普元信息等公司，負(fù)責(zé)過數(shù)據(jù)倉庫建設(shè)、BI、大數(shù)據(jù)平臺(tái)、數(shù)據(jù)治理等售前咨詢等工作，有政府、電力、制造業(yè)等行業(yè)經(jīng)驗(yàn)。目前在數(shù)瀾科技擔(dān)任大數(shù)據(jù)平臺(tái)售前咨詢工作。
數(shù)瀾科技是一家專注于企業(yè)數(shù)據(jù)資產(chǎn)化及應(yīng)用增值的專業(yè)大數(shù)據(jù)服務(wù)公司，致力于將領(lǐng)先的大數(shù)據(jù)理念和實(shí)踐經(jīng)驗(yàn)傳遞給各領(lǐng)域企業(yè)和政府客戶，幫助企業(yè)和政府將數(shù)據(jù)轉(zhuǎn)化成生產(chǎn)資料，并借助云計(jì)算和算法賦能，最終實(shí)現(xiàn)企業(yè)生產(chǎn)力和政府治理能力的快速提升。
自2016年6月成立至今，數(shù)瀾團(tuán)隊(duì)踐行大數(shù)據(jù)“連接”、“不確定性”和“場景化”的三大核心理念，目前已為近超過1000家企業(yè)和政府用戶提供大數(shù)據(jù)相關(guān)服務(wù)，旗下核心產(chǎn)品數(shù)棲平臺(tái)作為國內(nèi)領(lǐng)先的一站式大數(shù)據(jù)資產(chǎn)化及應(yīng)用平臺(tái)，助力地產(chǎn)、零售、政企、金融、汽車等多領(lǐng)域客戶取得卓越的數(shù)據(jù)業(yè)務(wù)效果。秉承著“致力于企業(yè)數(shù)據(jù)資產(chǎn)化及應(yīng)用增值”，共建大數(shù)據(jù)生態(tài)服務(wù)的愿景，數(shù)瀾科技將堅(jiān)持與各數(shù)據(jù)消費(fèi)方、數(shù)據(jù)開發(fā)方和數(shù)據(jù)提供方等專業(yè)生態(tài)伙伴共同攜手，共迎大數(shù)據(jù)應(yīng)用的美好未來。
