“石老師，Data Fabric（數(shù)據(jù)編織）你聽過嗎？據(jù)說在數(shù)據(jù)領域很火?。俊?/em>這是一個“談數(shù)據(jù)”讀者，去年10月份的時候在微信公眾號給我的留言。說來比較慚愧，當時Data Fabric這個詞對我來說當時雖然聽過，但也僅限于“聽過”！因為當時我也只知道 'Data Fabric '是 Gartner 2021年十大數(shù)據(jù)和分析技術趨勢之一，但其具體工作原理、應用場景卻知之甚少了……“Data Fabric”在國內談論的比較少，但據(jù)說在國外已經(jīng)很火了，就如同2019年國內的“數(shù)據(jù)中臺”一樣火！“Data Fabric”究竟是什么？這又是一場概念的炒作，還是真正的技術革新？這些問題一直困擾著我。于是，帶著這些問題，通過翻閱大量材料，終于發(fā)現(xiàn)了“Data Fabric”的“真相”！當下，數(shù)據(jù)是企業(yè)數(shù)字化轉型重要驅動因素，而企業(yè)的數(shù)據(jù)環(huán)境日趨復雜：內部數(shù)據(jù)/外部數(shù)據(jù)，實時數(shù)據(jù)/批處理數(shù)據(jù)，結構化數(shù)據(jù)/半結構化數(shù)據(jù)/非結構化數(shù)據(jù)，本地數(shù)據(jù)/云端數(shù)據(jù)，單機數(shù)據(jù)/分布式數(shù)據(jù)……，在更高程度數(shù)字化要求下，企業(yè)必須使用一種新型的數(shù)據(jù)結構來應對企業(yè)數(shù)據(jù)資產日益加劇的多樣化、分布式、規(guī)模、復雜性等問題。在這樣的背景下，一種新興的數(shù)據(jù)管理和處理方法——數(shù)據(jù)編織（Data Fabric）誕生了。Gartner認為數(shù)據(jù)編織是一種跨平臺的數(shù)據(jù)整合方式，它不僅可以集合所有業(yè)務用戶的信息，還具有靈活且彈性的特點，使得人們可以隨時隨地使用任何數(shù)據(jù)。圖片來源：gartner
作為一種新興的數(shù)據(jù)管理和處理方法，數(shù)據(jù)編織改進了數(shù)據(jù)倉庫和數(shù)據(jù)湖的概念，引入了一個新的架構（網(wǎng)絡狀），使整個企業(yè)能夠統(tǒng)一利用數(shù)據(jù)。數(shù)據(jù)編織使用基于網(wǎng)絡的架構而不是點對點的連接來處理數(shù)據(jù)，實現(xiàn)了從數(shù)據(jù)源層面到分析、洞察力生成、協(xié)調和應用的一體化數(shù)據(jù)結構。據(jù)Gartner預測：數(shù)據(jù)編制利用分析功能來持續(xù)監(jiān)控數(shù)據(jù)管道，通過對數(shù)據(jù)資產的持續(xù)分析，支持各種數(shù)據(jù)的設計、部署和使用，縮短集成時間30％，縮短部署時間30％，縮短維護時間70％。Gartner 將數(shù)據(jù)編織定義為一種設計概念，它充當數(shù)據(jù)和連接過程的集成層（結構）。數(shù)據(jù)編織利用對現(xiàn)有、可發(fā)現(xiàn)的元數(shù)據(jù)資產的持續(xù)分析，以支持跨所有環(huán)境（包括混合云和多云平臺）設計、部署和利用集成和可重用數(shù)據(jù)。數(shù)據(jù)編織利用人和機器的能力來訪問數(shù)據(jù)或在適當?shù)那闆r下支持其整合。它不斷地識別和連接來自不同應用程序的數(shù)據(jù)，以發(fā)現(xiàn)可用數(shù)據(jù)之間獨特的、與業(yè)務相關的關系，并通過分析獲得數(shù)據(jù)洞察力；通過快速訪問和基于圖譜的元數(shù)據(jù)理解提供比傳統(tǒng)數(shù)據(jù)管理更多的價值。下圖是Gartner給出的數(shù)據(jù)編織的典型結構，至下而上分為5個層次：數(shù)據(jù)源層：數(shù)據(jù)編織可以連接各種數(shù)據(jù)源。這些資源可能存在于企業(yè)內部，例如企業(yè)的ERP系統(tǒng)、CRM系統(tǒng)或人力資源系統(tǒng) 。還可以連接到非結構化數(shù)據(jù)源，例如，支持 PDF 和屏幕截圖等文件提交系統(tǒng)，支持物聯(lián)網(wǎng)傳感器的接入。數(shù)據(jù)編織還可以從公共可用數(shù)據(jù)（如社交媒體）等外部系統(tǒng)中提取數(shù)據(jù)。數(shù)據(jù)目錄層：與傳統(tǒng)人工編目不同，數(shù)據(jù)編織強調采用新技術，例如：語義知識圖、主動元數(shù)據(jù)管理和嵌入式機器學習 (ML)，自動識別元數(shù)據(jù)，持續(xù)分析關鍵指標和統(tǒng)計數(shù)據(jù)的可用元數(shù)據(jù)，然后構建圖譜模型，形成基于元數(shù)據(jù)的獨特和業(yè)務相關關系，以易于理解的圖譜方式描述元數(shù)據(jù)。 知識圖譜層：數(shù)據(jù)編織必須構建和管理知識圖譜。知識圖譜的語義層使用 AI/ML 算法簡化數(shù)據(jù)集成設計，使其更加直觀和易于解釋，使數(shù)字化領導者的分析變得容易。 基于知識圖譜的數(shù)據(jù)應用，將合適的數(shù)據(jù)在合適的時機自動化推送給數(shù)據(jù)集成專家和數(shù)據(jù)工程師，讓他們能夠輕松訪問數(shù)據(jù)并進行數(shù)據(jù)共享和使用。數(shù)據(jù)集成層：數(shù)據(jù)編織提供自動編織、動態(tài)集成的能力，兼容各種數(shù)據(jù)集成方式，包括但不限于 ETL、流式傳輸、復制、消息傳遞和數(shù)據(jù)虛擬化或數(shù)據(jù)微服務等。同時，支持通過 API 支持與內部和外部利益相關者共享數(shù)據(jù)。數(shù)據(jù)消費層：數(shù)據(jù)編織面向所有類型的數(shù)據(jù)用戶，提供數(shù)據(jù)和服務，包括：數(shù)據(jù)科學家、數(shù)據(jù)分析師、數(shù)據(jù)集成專家、數(shù)據(jù)工程師等，既能夠面向專業(yè)的IT 用戶的復雜集成需求處理，也可以支持業(yè)務人員的自助式數(shù)據(jù)準備和分析。數(shù)據(jù)編織與數(shù)據(jù)中臺數(shù)據(jù)編織，乍一看是不是很眼熟，是不是有種“似曾相識”的趕腳，是不是與我們的“數(shù)據(jù)中臺”的概念有點像？在主流的數(shù)據(jù)中臺概念中，也強調支持各種數(shù)據(jù)源（結構化的、半結構化的、非結構化的），提供數(shù)據(jù)目錄、數(shù)據(jù)標簽、數(shù)據(jù)分析等服務，提供數(shù)據(jù)資產的動態(tài)化管理，支持為不同數(shù)據(jù)用戶提供數(shù)據(jù)服務，解決企業(yè)的數(shù)據(jù)孤島，讓數(shù)據(jù)用起來。這些特點都與數(shù)據(jù)編織很相似，只不過數(shù)據(jù)編織更強調人工智能和知識圖譜的應用。因此，也有專家提出“數(shù)據(jù)編織是數(shù)據(jù)中臺的一下站！”。筆者認為數(shù)據(jù)中臺與數(shù)據(jù)編織還并不是一個概念，更不像是數(shù)據(jù)中臺的高級版本，以下是筆者理解的數(shù)據(jù)中臺與數(shù)據(jù)編織之間的關系和差異，如有偏頗，還請斧正。第一，數(shù)據(jù)中臺并不是全新的技術和產品，更多是由一些技術組件組合而形成的一個綜合性的數(shù)據(jù)應用解決方案，例如：基于數(shù)據(jù)湖的數(shù)據(jù)存儲服務、基于各種數(shù)據(jù)管理組件的數(shù)據(jù)治理服務，基于大數(shù)據(jù)平臺的數(shù)據(jù)計算和處理服務，以及提供面向應用的數(shù)據(jù)標簽、數(shù)據(jù)目錄、數(shù)據(jù)分析、模型算法服務等。而數(shù)據(jù)編織是側重于統(tǒng)一多樣化和分布式數(shù)據(jù)資產的功能，為應對復雜的混合數(shù)據(jù)環(huán)境所面臨的挑戰(zhàn)而設計，是一種架構設計方式，強調自動化的數(shù)據(jù)集成、整合和治理。第二，數(shù)據(jù)中臺是一個“讓數(shù)據(jù)用起來”的方法論，不僅包含數(shù)據(jù)管理和使用的相關技術組件，還包括與之相適應的企業(yè)組織機構、管理制度和流程、運營機制和考核辦法等。而數(shù)據(jù)編織一開始就強調新技術的應用，例如：機器學習、人工智能、知識圖譜的等，且構建和管理知識圖譜是其核心支持從數(shù)據(jù)源級別到分析、洞察力生成、編排和應用程序的集成數(shù)據(jù)層（結構），數(shù)據(jù)編織的技術色彩更濃一些。第三，數(shù)據(jù)中臺需要有專業(yè)的管理和運營團隊才能發(fā)揮作用，這個團隊往往是由IT部門承擔。而數(shù)據(jù)編織則強調更少的IT干預，數(shù)據(jù)編織的重要特征依賴于一組預建和預配置的組件，從原始數(shù)據(jù)到經(jīng)過處理和可操作的信息，這些信息或系統(tǒng)通常托管在云端，由經(jīng)驗豐富的服務提供商管理。這意味著，數(shù)據(jù)編織的實施和維護數(shù)據(jù)中，不需要太多的IT部門參與。基于以上幾點，可見數(shù)據(jù)中臺與數(shù)據(jù)編織是兩個概念，如果硬要和數(shù)據(jù)中臺比較的話，我倒是認為數(shù)據(jù)編織可以作為數(shù)據(jù)中臺的一部分，畢竟數(shù)據(jù)中臺爭議頗多，至今也沒有一個標準的定義，多增加一些內容倒也無妨，哈哈~數(shù)據(jù)編織與數(shù)據(jù)治理大家都知道，數(shù)據(jù)治理是對數(shù)據(jù)管理的管理，它是基于內部數(shù)據(jù)標準、策略和規(guī)則，管理企業(yè)數(shù)據(jù)的可用性、完整性和安全性，從而將數(shù)據(jù)轉化為企業(yè)資產。數(shù)據(jù)治理涵蓋了數(shù)據(jù)管理的各種主題，例如：數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)架構、數(shù)據(jù)建模、數(shù)據(jù)存儲和操作、數(shù)據(jù)安全、數(shù)據(jù)質量、元數(shù)據(jù)、數(shù)據(jù)集成和互操作性、文檔和內容、參考數(shù)據(jù)和主數(shù)據(jù)、數(shù)據(jù)倉庫和商業(yè)智能等。
在傳統(tǒng)的數(shù)據(jù)治理體系中是沒有包含數(shù)據(jù)編織的，但Data Fabric是一種數(shù)據(jù)管理的全新架構，筆者認為數(shù)據(jù)編織將是自動化、智能化數(shù)據(jù)治理的一個理想解決方案，從數(shù)據(jù)架構層面增強了企業(yè)數(shù)據(jù)管理的能力。數(shù)據(jù)編織提供了基于知識圖譜的統(tǒng)一語義描述層，使業(yè)務用戶能夠輕松發(fā)現(xiàn)和訪問相關的數(shù)據(jù)；數(shù)據(jù)編織使用先進的人工智能、機器學習算法連接不同數(shù)據(jù)源的數(shù)據(jù)以及數(shù)據(jù)之間的業(yè)務關系，建立知識圖譜，提供持續(xù)分析能力，以衡量和識別與數(shù)據(jù)相關的各種業(yè)務價值和風險。數(shù)據(jù)編織支持各種數(shù)據(jù)源的連接，本地化管理企業(yè)內部、外部、云端的數(shù)據(jù)資產的元數(shù)據(jù)；通過AI/ML技術，自動化應用策略、使得審計合規(guī)性和識別系統(tǒng)中的潛在數(shù)據(jù)漏洞變得更加容易；自動化和人工智能的應用增強了數(shù)據(jù)跟蹤和路線查詢能力；通過整合所有數(shù)據(jù)環(huán)境，落地整體數(shù)據(jù)治理和安全流程集中且一致的治理體系。數(shù)據(jù)編制的設計和部署天然具備跨分布式的多種基礎設施環(huán)境的數(shù)據(jù)進行集成能力，提供為孤立的數(shù)據(jù)源自動創(chuàng)建數(shù)據(jù)集成管道，支持ETL、流式傳輸、復制、消息集成、web服務、API接口等多種集成管道。通過預定義的數(shù)據(jù)集成策略自助、動態(tài)獲取最新的數(shù)據(jù)資產，讓企業(yè)的數(shù)據(jù)資產可見、可查、可管、可用！數(shù)據(jù)編織是一個先進的數(shù)據(jù)管理架構，采用人工智能、機器學習、數(shù)據(jù)湖以及其他平臺和技術對不同數(shù)據(jù)源進行自助編排，確保企業(yè)全面了解所有數(shù)據(jù)環(huán)境中的數(shù)據(jù)管道。數(shù)據(jù)編織支持數(shù)據(jù)的統(tǒng)一生命周期管理，用于配置和管理數(shù)據(jù)的各個方面，包括數(shù)據(jù)驅動應用的開發(fā)、運營、測試和生產發(fā)布。
不得不承認，在科技創(chuàng)新方面，我們與美國還是有很大差距的。就拿數(shù)據(jù)編織這個全新的數(shù)據(jù)架構來講，在國內還未見到應用案例，但在國外已經(jīng)形成了最佳實踐。以下內容是根據(jù)國內的一些公開材料，整理出來的5個數(shù)據(jù)編織應用實踐。我們先來回顧一下什么是DataOps。DataOps是一種工程方法論和一套實踐方法，旨在快速、可靠、可重復、持續(xù)地交付生產就緒數(shù)據(jù)以及運營就緒分析和數(shù)據(jù)科學模型。DataOps 通過支持數(shù)據(jù)版本控制、數(shù)據(jù)轉換、數(shù)據(jù)血緣和分析模型的工程學科來增強和推進數(shù)據(jù)治理。雖然Data Fabric和DataOps不是相同的概念，但DataOps是將Data Fabric真正落地一個重要的推動者。DataOps 流程模型，數(shù)據(jù)流程、工具和數(shù)據(jù)洞察與用戶之間存在密切的聯(lián)系。用戶可以持續(xù)依賴數(shù)據(jù)，有意義地利用可用工具，并通過數(shù)據(jù)洞察力來優(yōu)化業(yè)務運營。該模型與數(shù)據(jù)編織的架構具有共生關系。如果沒有 DataOps 流程模型和思維模式，用戶將難以充分利用數(shù)據(jù)編織。構建數(shù)據(jù)編織時的一個常見問題是它可能最終變成另一個數(shù)據(jù)湖。如果企業(yè)擁有所有架構組件——數(shù)據(jù)源、分析、BI 算法、數(shù)據(jù)傳輸和數(shù)據(jù)消費——但沒有 API 和 SDK，那么結果就不是真正的數(shù)據(jù)編織。 數(shù)據(jù)編織是一種架構設計方式，而不是單一技術。組件之間的互操作性和集成準備是該設計的定義特征。這就是為什么企業(yè)需要特別關注集成層、無縫數(shù)據(jù)傳輸以及自動洞察的獲得，通過API和SDK實現(xiàn)。云供應商傾向于將客戶綁定在他們的服務中，這使得數(shù)據(jù)遷移、集成、整合對企業(yè)來說是一項成本高昂且具有挑戰(zhàn)性的工作。數(shù)據(jù)編織必須面向企業(yè)復雜的數(shù)據(jù)環(huán)境提供集成整合能力，克服在維護多樣化的數(shù)據(jù)存儲和基礎設施部署組合方面的技術挑戰(zhàn)。企業(yè)可以根據(jù)不斷變化的技術和業(yè)務需求，自由地從一系列混合 IT 基礎架構資源中運行關鍵任務數(shù)據(jù)驅動的 IT 服務、應用程序、存儲和訪問。邊緣計算專為支持物聯(lián)網(wǎng)實施而構建，它是將與數(shù)據(jù)相關的關鍵任務從集中式應用程序轉移到一個單獨的邊緣層，該邊緣層是分布式的，但與數(shù)據(jù)編織緊密相連。通過使數(shù)據(jù)編織適配邊緣計算，企業(yè)可以從其物聯(lián)網(wǎng)設備中獲得更多數(shù)據(jù)價值。 例如，智能工廠可以使用數(shù)據(jù)編織與邊緣數(shù)據(jù)深度融合，可自動計算貨物集裝箱的重量，并自動啟動揀貨流程。通過邊緣數(shù)據(jù)編織加速業(yè)務決策并實現(xiàn)自動化操作，這是傳統(tǒng)集中式數(shù)據(jù)倉庫無法做到的。圖數(shù)據(jù)庫是關系數(shù)據(jù)庫的一種更智能的替代方案，它有助于使用知識圖譜來可視化元數(shù)據(jù)和數(shù)據(jù)關系。圖數(shù)據(jù)庫使用語義上下文豐富數(shù)據(jù)，以了解信息的含義，而不僅僅是文本字符串。 由圖分析提供支持的知識圖譜是數(shù)據(jù)編織的理想解決方案——數(shù)據(jù)編織架構的主要目的是實現(xiàn)對不同數(shù)據(jù)源的整體使用而不是重復使用。知識圖譜可以通過分析數(shù)據(jù)源之間的關系來提供業(yè)務和運營洞察力。與關系數(shù)據(jù)庫方法相比，它更擅長集成不同的數(shù)據(jù)，并且挖掘出業(yè)務人員更關心的“洞見”。參考文獻：
奇拉迪普·巴蘇馬利克《What Is Data Fabric?》
Gartner 《Gartner 2022年12大戰(zhàn)略技術趨勢》
本站僅提供存儲服務，所有內容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內容，請
點擊舉報。
