隨著數(shù)字經(jīng)濟的快速發(fā)展,2024年將迎來全新的商機風口。數(shù)據(jù)治理、數(shù)據(jù)平臺和應用場景被視為數(shù)字經(jīng)濟的三駕馬車,它們將成為推動商業(yè)創(chuàng)新和增長的關(guān)鍵。本文將深入探討這三個關(guān)鍵要素在數(shù)字經(jīng)濟中的作用,并分析它們?yōu)槲磥砩虣C帶來的影響。
01
2023年度國內(nèi)數(shù)據(jù)要素相關(guān)政策
剛剛過去的2023年對數(shù)字經(jīng)濟和數(shù)據(jù)要素相關(guān)產(chǎn)業(yè)來說,標志著一個歷史性的轉(zhuǎn)折點,在這一年里,自年初十六部委聯(lián)合發(fā)布《關(guān)于促進數(shù)據(jù)安全產(chǎn)業(yè)發(fā)展的指導意見》以來,到下半年國家數(shù)據(jù)局正式掛牌運作,數(shù)據(jù)要素市場的發(fā)展步伐顯著加快。這一年里,中共中央、國務院印發(fā)了《數(shù)字中國建設(shè)整體布局規(guī)劃》,將數(shù)據(jù)要素放到一個更為宏大的“數(shù)字中國”藍圖中;財政部出臺了《財政部發(fā)布《關(guān)于印發(fā)<企業(yè)數(shù)據(jù)資源相關(guān)會計處理暫行規(guī)定>的通知》(“數(shù)據(jù)入表”)、《會計師事務所數(shù)據(jù)安全管理暫行辦法》,“數(shù)據(jù)入表”為數(shù)據(jù)要素市場加了一把“火”;國家數(shù)據(jù)局出臺了《數(shù)據(jù)要素X三年行動計劃(2024-2026)》,選取12個行業(yè)和領(lǐng)域,推動發(fā)揮數(shù)據(jù)要素乘數(shù)效應,釋放數(shù)據(jù)要素價值。2024年剛開年,全國各地就掀起了一股省級數(shù)據(jù)局掛牌的熱潮。 據(jù)不完全統(tǒng)計,全國已有19個省份相繼掛牌成立數(shù)據(jù)局,數(shù)據(jù)局的“掌門人”也隨之亮相。多個省級數(shù)據(jù)局的成立,意味著國家數(shù)據(jù)局在地方有了“抓手”,也標志著我國對數(shù)據(jù)資產(chǎn)的重視程度提升到了新的高度。
02
三駕馬車:數(shù)據(jù)治理、數(shù)據(jù)平臺和應用場景
數(shù)據(jù)具有勞動對象和生產(chǎn)要素雙重屬性,當數(shù)據(jù)作為勞動對象屬性時,數(shù)據(jù)可以與算力、算法及其它要素(如組織、市場、人才等)共同構(gòu)成數(shù)字生產(chǎn)力核心要素。其中算力是生產(chǎn)工具,算法是勞動方法。
場景、數(shù)據(jù)生產(chǎn)要素和數(shù)字生產(chǎn)力在數(shù)字經(jīng)濟價值鏈中相互作用,并共同推動了數(shù)字經(jīng)濟的增長和價值創(chuàng)造。
1、數(shù)據(jù)治理:治理作為勞動對象和生產(chǎn)要素的數(shù)據(jù)
無論數(shù)據(jù)作為勞動對象還是生產(chǎn)要素,數(shù)據(jù)治理是基礎(chǔ)和基石。參考之前文章《數(shù)據(jù)治理:數(shù)據(jù)資產(chǎn)入表和數(shù)據(jù)要素市場化的基石》。
當數(shù)據(jù)作為勞動對象屬性時,它可以看成是這個原材料和半成品,并參與到價值創(chuàng)造過程,即生產(chǎn)、加工和增值環(huán)節(jié),形成新的數(shù)據(jù)產(chǎn)品。數(shù)據(jù)產(chǎn)品可以是成品也可以是半成品。
數(shù)據(jù)作為生產(chǎn)要素,是數(shù)字生產(chǎn)力的基石,它不斷地通過其可被分析和挖掘的屬性來賦能其他生產(chǎn)要素,比如優(yōu)化算法的性能,或者提高算力的應用效率。更精確、高質(zhì)量的數(shù)據(jù)可以提高數(shù)字生產(chǎn)力,因為它能使算法更精準地工作,實現(xiàn)更優(yōu)的結(jié)果。
2、數(shù)據(jù)平臺:數(shù)字生產(chǎn)工具和勞動方法的基礎(chǔ)底座
在數(shù)字經(jīng)濟時代,數(shù)據(jù)平臺既是生產(chǎn)工具,也是勞動關(guān)系。算力和算法是數(shù)據(jù)平臺的重要支撐,為數(shù)據(jù)平臺提供了核心的支持。
傳統(tǒng)生產(chǎn)時代中的機械工具相似,算力是數(shù)字化時代用于處理和分析數(shù)據(jù)的基礎(chǔ)設(shè)施。強大的計算能力可以支持大量數(shù)據(jù)的實時處理,使得數(shù)據(jù)分析、機器學習、人工智能等技術(shù)得以實現(xiàn)。數(shù)據(jù)平臺強大的算力能夠處理來自于不同產(chǎn)業(yè)、不同規(guī)模、不同格式的巨量數(shù)據(jù),這對于實時數(shù)據(jù)處理、智能決策支持和長期數(shù)據(jù)分析至關(guān)重要。有效的算力保障可使平臺在處理大規(guī)??珙I(lǐng)域數(shù)據(jù)時,依然能確保高效率和準確性。
如果將算力看成工具,那么算法就是使用這些工具的方法和技巧。算法是用來處理數(shù)據(jù)的計算方法和模型,是實現(xiàn)復雜任務自動化和智能化的關(guān)鍵。通過優(yōu)化算法,可以提高生產(chǎn)流程的效率和質(zhì)量,實現(xiàn)復雜問題的解決方案。
3、數(shù)據(jù)應用:場景融合數(shù)字生產(chǎn)力和數(shù)據(jù)要素實現(xiàn)數(shù)字經(jīng)濟價值
在數(shù)字經(jīng)濟時代,場景不僅僅是生產(chǎn)活動的背景描述,它還塑造了生產(chǎn)過程中的合作模式、價值交換方式和社會關(guān)系,是數(shù)字經(jīng)濟時代生產(chǎn)關(guān)系的重要體現(xiàn)。場景促進不同參與者之間的協(xié)同,形成數(shù)字商業(yè)生態(tài)系統(tǒng)。
場景可以理解為生產(chǎn)關(guān)系,即指數(shù)據(jù)、算力和算法生產(chǎn)價值的具體應用環(huán)境和背景。不同的場景在自由競爭、自由配置資源方面是有區(qū)別的,并對數(shù)據(jù)要素有不同的要求和使用方式,因此會有不同數(shù)據(jù)實際價值和定價模式,如不同時間、不同行業(yè)、不同區(qū)域相同數(shù)據(jù)產(chǎn)品的定價可能不同。
03
數(shù)據(jù)治理:以治促用、以始為終、以終為始
從數(shù)據(jù)資產(chǎn)的加工過程及不同特性來看,我們不難發(fā)現(xiàn)數(shù)據(jù)的質(zhì)量因素與數(shù)據(jù)的價值息息相關(guān)。同時,在數(shù)據(jù)的整個發(fā)展階段,其對應應用場景的經(jīng)濟性和多維性亦在數(shù)據(jù)資產(chǎn)價值中起著至關(guān)重要的作用。
1、數(shù)據(jù)質(zhì)量對數(shù)據(jù)資產(chǎn)價值的影響
準確性、唯一性:主要取決于數(shù)據(jù)的來源。真實準確不重復的數(shù)據(jù)必將能夠轉(zhuǎn)化為穩(wěn)健可靠的商業(yè)化成果,從而提升數(shù)據(jù)資產(chǎn)的價值。
完整性:若數(shù)據(jù)充分、完整、可持續(xù)利用程度高,則可以大大減少企業(yè)補充遺漏數(shù)據(jù)及后續(xù)年度循環(huán)重復使用的成本。
時效性、及時性:及時獲取高時效數(shù)據(jù),對于企業(yè)各方面的運營都至關(guān)重要。
2、數(shù)據(jù)發(fā)展階段對數(shù)據(jù)資產(chǎn)價值的影響
在初級階段,數(shù)據(jù)資產(chǎn)還僅僅為原始未加工數(shù)據(jù)的形式,尚未有具體匹配的商業(yè)化場景,價值可能僅限于其開發(fā)成本。經(jīng)過一定的加工,數(shù)據(jù)資產(chǎn)在初步找尋到適用的商業(yè)化場景后,即具有了一定的盈利模式,其價值顯著增加,但仍存在不確定性。最終,經(jīng)過多次嘗試,數(shù)據(jù)資產(chǎn)的商業(yè)化場景得以確定,多數(shù)的不確定性消除,數(shù)據(jù)資產(chǎn)價值顯著增加實現(xiàn)最大化。
3、應用場景對數(shù)據(jù)資產(chǎn)價值的影響
明確可界定的商業(yè)化應用場景決定了數(shù)據(jù)資產(chǎn)是否具有價值。在不同的商業(yè)場景下,數(shù)據(jù)資產(chǎn)也將發(fā)揮不同的作用,實現(xiàn)不同的價值。企業(yè)應當盡可能探索數(shù)據(jù)資產(chǎn)所適用的各種場景,如果場景之間是兼容的,則可以探索出數(shù)據(jù)資產(chǎn)在各個場景下的價值,綜合考慮場景兼容程度,最終綜合得到數(shù)據(jù)資產(chǎn)的總體價值。
4、數(shù)據(jù)標準對數(shù)據(jù)資產(chǎn)價值的影響
數(shù)據(jù)標準提供了數(shù)據(jù)定義、格式和交換的共同規(guī)范。在數(shù)據(jù)資產(chǎn)入表過程中,統(tǒng)一的數(shù)據(jù)標準使得資產(chǎn)的度量、分類和報告變得可能,也為數(shù)據(jù)資產(chǎn)的審計和比較提供了基準。數(shù)據(jù)資源的分類,是數(shù)據(jù)資源的列示的前提,也是數(shù)據(jù)資源的管理的依據(jù),而數(shù)據(jù)資源的標準,是數(shù)據(jù)資源的分類的依據(jù),也是數(shù)據(jù)資源的區(qū)分的標準。
5、數(shù)據(jù)生存周期對數(shù)據(jù)資產(chǎn)價值的影響
數(shù)據(jù)生命周期管理是指從數(shù)據(jù)創(chuàng)建、存儲、使用到最終銷毀的全過程中對數(shù)據(jù)的管理。這個過程中的數(shù)據(jù)治理工作對數(shù)據(jù)資產(chǎn)的價值評估至關(guān)重要,因為只有在整個生命周期中保持數(shù)據(jù)的高質(zhì)量和準確性,數(shù)據(jù)資產(chǎn)的價值才能得到有效評估??煽康臄?shù)據(jù)生命周期管理保證了數(shù)據(jù)在有效期內(nèi)始終保持價值,為數(shù)據(jù)資產(chǎn)提供了穩(wěn)定而準確的評估依據(jù)。
6、數(shù)據(jù)安全對數(shù)據(jù)資產(chǎn)價值的影響
合法合規(guī)是數(shù)據(jù)資產(chǎn)使用的基本前提,企業(yè)正面臨日趨嚴苛的數(shù)據(jù)合規(guī)監(jiān)管,一旦違法,企業(yè)的數(shù)據(jù)資產(chǎn)價值可能清零,合規(guī)合法則將為數(shù)據(jù)資產(chǎn)價值保駕護航;數(shù)據(jù)資產(chǎn)的使用還將面對輿論的監(jiān)督,不合理的運作方式可能會引來輿論的譴責,喪失客戶關(guān)系。
04
數(shù)據(jù)平臺:湖倉一體化平臺是數(shù)據(jù)平臺新趨勢
先看看湖倉一體技術(shù)發(fā)展的三個階段:
第一代:以數(shù)據(jù)倉庫為核心的平臺。因為數(shù)據(jù)倉庫是只能支持結(jié)構(gòu)化數(shù)據(jù),無法支持更多類型的數(shù)據(jù),比如視頻、音頻、文檔等。
第二代:數(shù)據(jù)湖+數(shù)據(jù)倉庫的兩層架構(gòu)。從原始數(shù)據(jù)到數(shù)據(jù)湖,從數(shù)據(jù)湖到數(shù)據(jù)倉庫,需要經(jīng)過額外的ETL,不但增加了數(shù)據(jù)出錯的幾率,而且增加了成本和時間。
第三代:湖倉一體,深度融合,可以看成全部封裝好了,然后對外提供統(tǒng)一的服務。
湖倉兩層架構(gòu)中,左圖展示了湖倉的分離特性,可以認為1+1=2,甚至小于2。這種架構(gòu)需要進行額外的工作,比如ETL,來使數(shù)據(jù)湖和數(shù)據(jù)倉庫能夠無縫對接。然而,這種分離架構(gòu)面臨元數(shù)據(jù)較難統(tǒng)一的挑戰(zhàn),并且需要分別對接不同的計算引擎,這會帶來重復的數(shù)據(jù)開發(fā)成本以及數(shù)據(jù)冗余和一致性問題。
相對而言,湖倉一體平臺類似于在湖邊建立各類倉庫,如數(shù)據(jù)分析倉庫、機器學習倉庫、搜索引擎?zhèn)}庫、數(shù)據(jù)API服務倉庫等。這種一體化架構(gòu)實現(xiàn)了數(shù)據(jù)倉庫和數(shù)據(jù)湖的數(shù)據(jù)/元數(shù)據(jù)無縫打通和自由流動,避免了之前分離架構(gòu)中的問題。一體化平臺在上層應用中起到了協(xié)同平臺的作用,也可以理解為一個黑盒子,為數(shù)據(jù)開發(fā)提供了便利。
湖倉一體化平臺的趨勢和優(yōu)勢
1、可同時服務 BI 和 AI 場
比如我想知道在各指標在BC聯(lián)動場景應用中價值貢獻的權(quán)重,或想設(shè)置銷售因子在企業(yè)經(jīng)營績效中各自所占的權(quán)重。如果通過湖倉一體化平臺和大模型結(jié)合可以實現(xiàn),但傳統(tǒng)數(shù)據(jù)中臺難以實現(xiàn)。
2、高度綜合數(shù)據(jù)協(xié)同性
傳統(tǒng)數(shù)據(jù)中臺通常在資源成本、數(shù)據(jù)新鮮度和性能方面難以兼得。湖倉一體化大數(shù)據(jù)平臺通過數(shù)據(jù)管理和處理手段,促使數(shù)據(jù)新鮮度、資源成本和查詢性能實現(xiàn)高度的協(xié)同作用,形成一個相互依存、相互促進的綜合數(shù)據(jù)協(xié)同體系。通過綜合數(shù)據(jù)協(xié)同性,湖倉一體化平臺可以實現(xiàn)實時性和延遲性數(shù)據(jù)并存,同時最大化資源利用率,提升查詢性能。
3、資源彈性伸縮
西方人理解陰陽和一二,他們認為一就是一,二就是二,是二個東西;中國人的基因是陰中有陽、陽中有陰,可以相互轉(zhuǎn)化。傳統(tǒng)數(shù)據(jù)中臺的資源分配是西方人思維,有你沒我,有我沒你,是非此即彼的關(guān)系。如A公司增加多少資源,B公司就會減少多少資源,屬于點對點的拆借。湖倉一體化的資源彈性伸縮,類似中國人思維,你中有我,我中有你,大家可以一增一減,也可以是同增同減,類似央行統(tǒng)一資源池,統(tǒng)一調(diào)度和拆借。
4、離線和實時一體化
傳統(tǒng)數(shù)據(jù)中臺開源組件,需要離線、實時同步多組件架構(gòu),各組件之間協(xié)同性難以把控,架構(gòu)復雜、高部署維護成本和高數(shù)據(jù)治理成本,性能鏈路復雜,有性能瓶頸。湖倉一體架構(gòu)演進,離線 + 實時 一體化架構(gòu)。
離線 + 實時 一體化架構(gòu),也可以簡單理解為批流一體化,即同時支持離線和實時計算。我們可以將數(shù)據(jù)湖比喻為一個堰塞湖,湖水順著山體流向下游,而山體上布滿了各種洼溝。當水流到達第一層洼溝時,它會首先橫向滲透洼溝,這個過程可以看作是批處理過程。
當?shù)谝粚油轀咸顫M水后,水會流向下一層,同樣經(jīng)歷橫向滲透洼溝的批處理過程。這一層層滲透向下的過程類似于數(shù)據(jù)倉庫中的原始數(shù)據(jù)層(ODS)、數(shù)據(jù)集成層(DWD)、以及應用數(shù)據(jù)層(ADS)。
當各層洼溝都被水填滿時,如果上游水流持續(xù)流淌,那么我們會看到水實時垂直流向下一層(即實時處理),同時也會在各層洼溝中波動(批處理)。從效果上來看,這就是實時處理和同步處理同時進行,融合為一個整體系統(tǒng)。
05
數(shù)據(jù)應用:數(shù)據(jù)入表帶動數(shù)據(jù)場景運營閉環(huán)
對企業(yè)或組織來說,數(shù)據(jù)治理是基石和規(guī)劃,數(shù)據(jù)平臺建設(shè)是搭平臺和構(gòu)建數(shù)據(jù)底座(當然也可以自建數(shù)據(jù)平臺或采用全托管的數(shù)據(jù)平臺),數(shù)據(jù)應用是目標和結(jié)果,構(gòu)建數(shù)據(jù)驅(qū)動業(yè)務的閉環(huán)。
數(shù)據(jù)應用企業(yè)或組織依據(jù)自身情況各有側(cè)重,但通常會從營銷端入手,酒業(yè)可能會從渠道數(shù)字化和BC一體化入手,并逐漸實現(xiàn)由內(nèi)而外的數(shù)據(jù)要素市場化流通。參考之前文章《數(shù)字化轉(zhuǎn)型始于營銷,企業(yè)數(shù)字化轉(zhuǎn)型的三個層次:需求側(cè)、供應側(cè)和生產(chǎn)側(cè)數(shù)字化 》。
2024年最直接的抓手還是數(shù)據(jù)資產(chǎn)入表。數(shù)據(jù)入表,是一件自上而下的工作,需要公司最高層來確定和立項。一個企業(yè)如果過去沒有做過數(shù)據(jù)資源的挖掘,那么商業(yè)模式的重構(gòu)就會變得無比重要。至少針對單項的數(shù)據(jù)資源的業(yè)務模式需要做對應的梳理。
數(shù)據(jù)入表,是數(shù)據(jù)資源進行資產(chǎn)化的過程。每個環(huán)節(jié)需要參與的團隊如下:
由于整體的數(shù)據(jù)產(chǎn)品的確定關(guān)系到戰(zhàn)略的定位,數(shù)據(jù)資產(chǎn)未來應該定位為企業(yè)戰(zhàn)略級資產(chǎn)。對于企業(yè)來說,數(shù)據(jù)入表是一項企業(yè)戰(zhàn)略級別的工作,落地工作需要數(shù)據(jù)部門、IT部門、財務部門、業(yè)務部門的共同參與。
通過數(shù)據(jù)治理,實現(xiàn)將數(shù)據(jù)資源產(chǎn)品化、數(shù)據(jù)產(chǎn)品資產(chǎn)化,并最終將數(shù)據(jù)資產(chǎn)資本化。通過數(shù)據(jù)驅(qū)動的場景應用,我們可以讓數(shù)據(jù)真正產(chǎn)生價值。同時,場景應用產(chǎn)生的結(jié)果數(shù)據(jù)以及新的數(shù)據(jù)將作為數(shù)據(jù)治理的數(shù)據(jù)源,逐漸形成一個無始無終、無先無后的全域閉環(huán)。
在這個過程中,似乎產(chǎn)生了一個類似“先有雞還是先有蛋”的問題。然而,從早期某個特定的時間節(jié)點或更高層次的視角來看,我們確實可以分清楚是先有雞還是先有蛋,因為最kai開始是有始有終和有先有后的。通過數(shù)據(jù)治理和數(shù)據(jù)平臺,我們能夠讓數(shù)據(jù)在不斷循環(huán)中持續(xù)創(chuàng)造和產(chǎn)生價值。
06
結(jié)語
數(shù)據(jù)治理、數(shù)據(jù)平臺和應用場景這三駕馬車在數(shù)字經(jīng)濟中將扮演愈發(fā)重要的角色,成為商業(yè)發(fā)展和創(chuàng)新的關(guān)鍵。在2024年,這些領(lǐng)域?qū)⒂瓉砼畈l(fā)展,推動組織(企業(yè)、政府等)在數(shù)據(jù)治理咨詢(培訓)、數(shù)據(jù)平臺建設(shè)、數(shù)據(jù)確權(quán)、DCMM貫標、數(shù)據(jù)資產(chǎn)評估、數(shù)據(jù)資產(chǎn)入表咨詢(培訓)等數(shù)字新商機。
然而,目前大部分企業(yè)和組織尚未真正開始數(shù)據(jù)治理,缺乏數(shù)字化意識,因此在當前大環(huán)境下難以投入更多資金來進行數(shù)據(jù)治理和大數(shù)據(jù)平臺的建設(shè)。
要解決這個難題,各省的數(shù)據(jù)局、地方政府(如財政部門、科技局等)以及國家部門(如財政部、國家數(shù)據(jù)局)可能會成立專項資金,用于支持和鼓勵企業(yè)開展數(shù)據(jù)治理、數(shù)據(jù)平臺建設(shè),以及與數(shù)據(jù)資產(chǎn)入表相關(guān)的數(shù)據(jù)確權(quán)、數(shù)據(jù)質(zhì)量評估、數(shù)據(jù)資產(chǎn)評估等服務。這將會有效帶動數(shù)據(jù)經(jīng)濟發(fā)展,直接或間接地促進企業(yè)收入增長,創(chuàng)造就業(yè)機會,并逐步實現(xiàn)傳統(tǒng)經(jīng)濟向數(shù)字經(jīng)濟的軟著陸。