中國數據中臺行業白皮書(2021)

數據中臺不是簡單的一套軟件系統或者標準化產品,更多的是一種強調資源整合、集中配置、能力沉澱、分步執行的運作機制,是一系列數據組件或模塊的集合,爲企業數據治理效率的提升、業務流程與組織架構的升級、運營與決策的精細化賦能。

本文參考艾瑞諮詢 “中國數據中臺行業白皮書(2021)”,白皮書全文 PDF **下載鏈接:**中國數據中臺行業白皮書(2021)

數據中臺發展的驅動因素

數據中臺概述

數據中臺的行業發展現狀

數據中臺應用的挑戰

數據中臺的未來發展趨勢

我國信息化建設緊密圍繞着打造網絡強國、建設數字中國、“互聯網 +” 行動計劃等國家戰略,充分發揮信息化驅動引領作用,積極推進以物聯網、雲計算、大數據、人工智能、區塊鏈等爲代表的新一代信息技術與行業深度融合。各領域信息化建設緊緊圍繞行業任務部署及關鍵戰略統籌,以新技術、新模式爲支撐,強調網絡安全保障能力的同時,積極規劃產業進程,穩步促進信息化轉型。

早期業務發展過程中,企業爲了解決一些當下的業務問題,按照垂直的、個性化的業務邏輯部署 IT 系統,各種信息系統大多是獨立採購與建設的,與流程、底層系統耦合較深,橫向和上下游系統之間的交叉關聯也較多,導致企業內部形成多個數據孤島,很難做到信息的完全互聯互通。

同時在新平臺、新業務、新市場的拓展過程中,系統沒法直接複用和快速迭代,產生的數據也無法與傳統模式下積累的數據互通,進一步加劇了數據孤島的問題。分散的數據無法很好地應對前端業務變化,難以支撐企業的經營決策,因此亟需一套機制將新老模式融合,整合分散在各個孤島的數據,形成數據服務能力。

近年,多數企業的認知已經從 “跟風轉型” 過渡到“數據驅動轉型”,認識到數據是企業的新型資產。而數據收集、存儲和處理成本的大幅下降和計算能力的大幅提高,爲數據資產化應用提供了經濟環境基礎。

職能型組織架構,項目性組織架構和矩陣型組織架構是現代企業通用的組織架構,他們在支撐企業運營的同時也造成了一些系統性的問題。例如職能型的組織架構雖然使企業的部門專業化程度高,部門內部直線溝通、交流順暢,但是也造成了:

①沒有一個直接對接項目的負責人或團體,項目責任不明確。

②不以客戶爲導向。各部門由於只重視本部門的業務,而不重視項目整體和客戶的利益,最終造成 1+1<2 的情況。

③組織之間聯繫薄弱,對於跨部門的複雜項目協調困難,浪費大量時間和精力。

不管企業使用哪一種組織架構,數據的冗雜、前臺與後臺之間的接洽困難、業務與數據的孤立等問題,都在現階段的信息化市場環境中逐漸成爲阻礙企業發展的障礙。在此基礎上,企業需要打破傳統的組織壁壘,根據新的運營模式構建敏捷、創新的組織體系,實現跨部門的創新協作形式。

數據中臺居於前臺和後臺之間,是企業級的數據共享、能力複用平臺,是數字化轉型的基礎和中樞系統。將企業全域海量、多源、異構的數據整合資產化,爲業務前臺提供數據資源和能力的支撐,以實現數據驅動的精細化運營。數據中臺不是簡單的一套軟件系統或者一個標準化產品,更多的是一種強調資源整合、集中配置、能力沉澱、分步執行的運作機制,是一系列數據組件或模塊的集合,指向企業的業務場景。

企業基於自身的信息化建設基礎和業務特點對數據中臺的能力進行定義,基於能力定義選擇和利用數據組件搭建中臺。各類數據技術是構建數據中臺的基礎,能夠高效對數據進行統一收集、處理、儲存、計算、分析和可視化呈現,使數據最終與業務鏈條結合,真正轉化爲企業核心資產。而從廣義上,數據中臺更是一種企業組織管理模式和理念,集公司戰略決心、組織架構、技術架構於一體,企業從戰略上構建統一的協同基座即中臺化組織,以協調和支持各業務部門,用技術拓展商業邊界,爲新業務、新部門提供成長空間。

數據中臺呈現統一基礎層、公共中間層、多元應用層的分層架構模式。數據中臺首先採集與引入全業務、多終端、多形態的數據,經過數據計算與處理,通過數據指標結構化、規範化的方式實現指標口徑的統一,存儲到各類數據庫、數據倉庫或數據湖中,以實現數據資產化管理。

向上提供各類數據服務,面向業務構建統一的數據服務接口與數據查詢邏輯,提供數據的分析與展示,形成以業務核心對象爲中心的連接和標籤體系,深度萃取數據價值。

數據中臺和業務中臺各司其職,相輔相成。相比數據中臺抽象數據能力的共性形成通用數據服務能力,業務中臺則是抽象企業各業務流程的共性形成通用業務服務能力,更多偏向於業務流程的管控。將企業的業務規則、流程、邏輯與業務進行隔離,整合封裝成微服務、組件等前臺友好的可複用共享的能力;將一切業務數據化,實現後臺資源到前臺敏捷複用能力的轉化,提升面向終端用戶的前臺的速度和效率,提高整體業務的靈活性和響應速度。

企業一般根據自身的實際情況需要進行數據中臺和業務中臺的規劃和部署,當企業同時擁有數據中臺和業務中臺時,兩套中臺起到相輔相成、相互支撐的作用。業務中臺中沉澱的業務數據進入到數據中臺進行體系化的加工,再以服務化的方式支撐業務中臺上的應用,形成循環不息的數據閉環。但業務中臺只是數據中臺的數據源之一,而數據中臺的數據服務也並非必須經過業務中臺才能作用於業務。

數據中臺的建設不是一蹴而就的,其建設路徑及難度跟企業數字化變革驅動力、行業背景直接相關,與企業原有機制的融合是一個長期的過程,其建設成本在百萬元以上,建設週期更是以年爲單位計算。

整個數據中臺的建設沒有一個通用的企業級模型套用,一般需要從頂層設計出發,自上而下貫徹。根據企業自身的業務目標逐級建設,優先從小場景領域內開始試點,逐步納入更多的業務模塊,以達到企業數字能力的逐級進化和價值的持續疊加。此外,在數據中臺的建設過程中,企業需要培養自身的數據管理團隊,甚至重構整個 IT 團隊,以提高數據服務和企業數字化運營的能力。

數據中臺的搭建涉及技術諸多,在整個技術構架上需要考慮可拓展性、敏捷性、輕量化,並注重與前臺的交互,靈活地通過服務編排實現應用功能,以滿足前臺需求。當前數據中臺遵循 “高內聚、松耦合” 的設計原則,融合分佈式、微服務、容器雲、DevOps、大數據處理及高可用高性能高併發架構,已形成了一套較爲成熟的方法論。

因此現階段,數據中臺的建設難點更多的聚焦在如何將成熟的技術方案與行業及企業的實際情況和特徵結合,基於真實應用場景,規劃設計數據中臺建設的可行性方案。企業自身的資源配置能力、管理經驗、組織架構、業務梳理能力,以及數據中臺服務商在企業中臺搭建過程中爲企業數據治理提供的諮詢規劃服務,逐漸成爲數據中臺建設過程中的關鍵性要素。

行業集中度較低,市場競爭格局尚未成型。數據中臺行業的主要參與者指幫助下游企業搭建數據中臺並提供服務的供應廠商。整體而言,數據中臺行業尚處於發展成型的早期階段,參與者衆多但行業集中度較低,尚未形成鮮明的市場競爭格局。數據中臺供應商主要由五類廠商構成:頭部互聯網企業、數字化解決方案提供商、大數據公司、獨立中臺開發商及人工智能廠商。

市場不斷有新玩家進入,各類型的廠商都具有不同的競爭優勢,處在佔領市場份額、憑藉優勢領域構建進入壁壘的擴張階段,與此同時也帶來了一些產品區分度低、邊界不明、業務混雜等行業亂象。

有數據基礎、多元化經營的各行業頭部企業爲主要客戶。事實上,並非所有企業都需要或適合部署數據中臺。是否進行數據中臺的建設,與企業所處行業、發展階段以及自身的數據成熟度和數字化程度等因素相關。對於初創公司以及一些業務較爲單一的企業,現階段實際不存在數據互聯互通的問題,則並不適合也並非必須搭建中臺,因爲數據中臺的建設模式較重,建設週期較長,需要投入較高的資金和人力成本,短期內反而不利於這一類企業的快速發展。我們認爲,滿足以下至少三種情況的公司適合進行數據中臺的部署:

①業務場景具備不確定性,迭代速度快,所處市場環境變化快,需要具備快速試錯和敏捷反應的能力;

②生態和流程系統複雜,有多條產品線或橫跨多種業態,各業務單元間存在功能模塊低水平重複建設的問題;

③由於事業部等的組織架構,導致數據和信息系統存在互聯互通問題,需要打通壁壘進行統一管理;

④營收具有一定規模,信息化建設達到一定水平,但信息技術仍對企業發展存在制約,需要進行整體的技術升級、業務重構;

⑤對外需要多業態擴張,多消費渠道觸達,希望協調整個產業鏈上下游合作伙伴之間資源。

隨着進入數字化營銷時代,線上營銷場景已經實現雲化,線下營銷場景也可以通過 IoT、AI 等技術實現對用戶行爲數據的獲取和完全跟蹤,目前營銷獲客領域的數據基礎設施已達到較高的成熟度。然而企業獲取的銷售、營銷數據也愈發零散、且往往都是孤立存在;日益碎片化的觸達時段及場景、層出不窮的媒介載體和複雜的社交數據,也使全景化的消費者畫像和用戶標籤體系難以整合建立;與此同時,爆發式的海量數據使企業原有的 CRM 系統算力和能力難以滿足業務的計算分析需求。

營銷數據中臺在集數據採集、融通聚合、管理服務等功能於一體的基礎上,基於場景的特點開發專門的數據模型、標籤體系等多種數據智能應用,構建用戶 360° 全景畫像,深入洞察目標客羣特徵,分析交易銷售數據及營銷效果,助力企業實現基於智能營銷和消費者智能運營及管理的數據管理、洞察分析和決策支持。

企業案例:阿里雲

基於阿里雲的雲資源基礎設施,在智能數據構建及管理 Dataphin 平臺、智能商業分析套件 QuickBI、 QuickAudience 產品、智能用戶增長、品牌數據銀行的支撐下,實現基於消費者標籤和模型的人羣分析和洞察,實現消費者資產向品牌數據銀行的推送和數據資產融合,從而允許品牌在數據銀行內進行基於全域消費者洞察的營銷活動策劃和實現,同時幫助商家實現用戶數據與店鋪銷售數據的融合和分析洞察。

企業案例:元年科技

元年科技是基於人工智能、大數據、雲計算、互聯網、物聯網等新一代信息技術,同時又具有豐富的財務管理、業務運營和行業經驗的企業數字化轉型軟件商和服務商。經過 21 年的發展,元年已經服務了上千家大型企業集團,成爲國內管理會計、財務管理、業務運營、數據分析等專業領域的領導者,對金融、地產、零售快消、裝備製造、能源化工、交通物流等二十餘個行業有深刻的洞察和豐富的經驗。

目前,元年已經形成了較爲全面的中臺整體解決方案,在數據中臺常規基礎功能模塊的基礎上還引入了偏向業務建模的適配插件,真正實現業財稅一體化的行業解決方案。

數據中臺的核心在於共享和沉澱能力,隨着數據中臺在行業頭部及領先企業逐漸落地,供應商經歷了各類業務場景能力沉澱的過程。在深度上,數據中臺廠商承載細分行業的各類定製化業務,不斷沉澱業務能力。

在廣度上,隨着不同業務場景的持續輸入,數據中臺廠商產品的能力越來越豐富,覆蓋的領域也越來越廣泛。完善數據中臺的深度和廣度,提煉和整合數據中臺的服務,尤其是對於對數據中臺能力要求相對簡單的中小企業,爲客戶提供標準化的整體解決方案將成爲數據中臺服務商的產品方向。

從內部來看,數據中臺不斷沉澱跨行業、跨企業複用的組件、模塊,存在朝 SaaS 和本地部署混合模式發展的趨勢。從外部來看,隨着雲計算的普及,部分系統 SaaS 化趨勢較強。因此,作爲前臺和後臺的連接,數據中臺與 SaaS 應用融合對接的實踐越來越多,市場將逐漸形成一套成熟的中臺 + SaaS 系統融合閉環方案。

敏捷開發、快速迭代以適應業務需求是數據中臺的基本能力。隨着數據中臺市場滲透率的提高,應對小量應用調整的場景,低代碼需求在近期興起。允許通過零代碼或少量代碼就可以快速創建應用,對企業運維團隊的要求降低,將充分提升數據中臺的應用性。

數據中臺的定義一直隨着發展而改變,現階段數據中臺更多的是描述基於雲計算、大數據、人工智能等新一代技術打造的持續演進的企業級數據共享服務平臺,是技術和方法論的結合。

首先,人工智能使得數據採、存、通、治的加工鏈條大幅縮短。在應用側,數據智能將更多地輔助業務決策、提高生產效率,賦能更多應用領域。其次,大數據以豐富的數據計算和存儲技術爲數據中臺提供了強大的數據處理能力。

最後,雲端是如今企業數字化、智能化的基礎,企業上雲是大勢所趨。雲計算的按需付費、彈性擴展等特性,使其使用和遷移成本更低,爲更多企業運用數據中臺等新技術提供了條件。數據是上述各技術發揮效用的土壤,隨着數據源越來越豐富,數據使用場景越來越多元,數據中臺將會融合更多新興技術,釋放出更多能量。

**文章來源:**全棧雲技術架構

**下載鏈接:**中國數據中臺行業白皮書(2021)

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/m9mEhBsYhBBbTofNJmTZYA