如何制定數據標準
數據標準概念
數據標準這個詞,國內從21世紀初開始提出,最早是在銀行業的數據治理中開始使用的。數據標準工作一直是數據治理中重要的基礎性內容,但是對于數據標準,不同的人卻有不同的看法:有人認為,數據標準極其重要,只要制定好了數據標準,所有數據相關的工作依標進行,數據治理大部分目標就水到渠成了;也有人認為,數據標準幾乎沒什么用,做了大量的梳理,建設了一整套全面的標準,最后還是束之高閣,被人遺忘,幾乎沒有發揮作用。
其實這兩種看法都是片面的。實際上,數據標準工作是一項復雜且涉及面廣的系統性、長期性的工作。它雖然不能快速發揮作用,迅速解決掉數據治理中的大部分問題,但也不是完全沒有作用,最后只剩下一堆文檔——如果數據標準工作的結果真是如此,那只能說明這項工作沒有做好,沒有落到實處。
首先要厘清數據標準的定義。對于何為數據標準,各相關組織并沒有達成共識。結合各家對數據標準的闡述,從數據治理的角度出發,嘗試著給數據標準下一個定義:數據標準是對數據的表達、格式及定義的一致約定,包含數據業務屬性、技術屬性和管理屬性的統一定義;數據標準的目的是使組織內外部使用和交換的數據是一致的、準確的。
舉例來說,對于一個企業來說,營銷、財務、總經理辦公室等不同的部門可能都會產出“利潤率”這個指標,所以需要統一“利潤率”這個指標標準,如果確實有多個不同口徑的“利潤率”需要同時存在,則必須用不同的限定詞把它們區分開,如銷售利潤率、成本利潤率、產值利潤率、資本金利潤率、人均利潤率等。對于每一種指標,都必須明確闡述其唯一的業務含義,明確其計算公式、數據來源、限定范圍(如時間范圍、業務范圍),并確保這種指標標準是可供業務部門和技術部門參考,有專人維護的。
如何制定數據標準
數據標準來源非常豐富,有外部的監管要求、行業的通用標準、專家的實踐經驗,同時也必須考慮到企業內部數據的實際情況。通過資料收集、調研訪談、分析評估等工作流程,梳理其中的業務指標、數據項、代碼等,最終形成并制定適用于組織的數據標準,并對標準進行發布和公示。數據標準的制定流程如圖所示。
需要注意的是,由于組織內業務的復雜性,將收集到的所有參考標準都納入數據標準管理中進行管理是沒有必要的,數據治理的指導者必須清楚哪些標準才適用于當前組織內業務和數據的實際情況。
數據標準分類
按照DCMM的分類,數據標準可分為以下幾類:
業務術語標準 參考數據和主數據標準 數據元標準 指標數據標準
業務術語是被批準、管理的業務概念定義的描述,需要通過流程來定義組 織如何創建、審批、修改和發布統一的業務術語,進而推動數據的共享和在組織內部的應用,如銀行的業務術語貸款展期、收息、兌付等。
參考數據是用于將其他數據進行分類或目錄整編的數據,可以簡單理解為是數據字典,是數據可能的取值范圍,比如我國的省份,它總是在一個固定的 可選范圍之內,又如性別的分類和取值范圍、貨幣幣種的分類和取值范圍。主數據是組織中需要跨系統、跨部門共享的核心業務實體數據。主數據因為其重 要價值,被喻為企業的黃金數據記錄,如多個系統共享的客戶、商品等核心業務實體數據。
數據元是用一組屬性描述其定義、標識、表示和允許值的數據單元,是描述數據的最基本單元。數據元由3部分組成:對象類、特性、表示值域和數據 類型的組合。
指標數據是組織在經營分析過程中衡量某一個目標或事物的數據,一般由指標名稱、指標解釋、時間限定、其他條件限定、指標數值等組成,如企業的人均利潤率、季度離職率等。
-
數據為墨 智能作筆 落筆姑蘇城 畫一卷AI姑蘇繁華圖[2020-12-25]
-
“大數據”走進菜市場[2020-12-15]
-
大數據分析的好處以及如何分析大數據[2021-08-09]
-
張東曉:要從“數據大”到“大數據”[2021-06-23]
-
面試官:如何管控數據?[2021-07-06]
-
《大數據從業人員能力要求》行業標準征求意見會召開[2021-01-20]
-
廣東省級數據中臺歸集數據已超258億條[2021-05-08]
-
2021大數據產業建設快馬加鞭 大數據50ETF 3月1日上市[2021-03-01]
-
隱私計算蓄力待發數據安全之路任重道遠[2021-09-01]
-
工信部通報38款違規APP:騰訊新聞、小紅書等在列[2021-11-08]
-
安徽首個城市能源大數據中心在合肥成立[2020-12-25]