9月26日,由阿里云與英特爾聯合主辦的“數聚云端 · 智馭未來“——阿里云數據庫創新上云峰會在京舉行。峰會上,阿里云重磅發布一站式敏捷數據倉庫解決方案。該方案結合一站式數據管理平臺DMS及云原生數據倉庫AnalyticDB(簡稱:ADB),真正實現了庫倉一體的技術架構,提供在線數據實時入倉、T+1周期性快照、按需建倉等能力,數據延時低至秒級,持續賦能業務在線化,令企業在線數據釋放最大價值。

通過低代碼操作,阿里云一站式敏捷數據倉庫解決方案大幅降低了實時數倉的構建難度和數據加工門檻,同時可支撐企業各類高頻、動態化的實時分析場景和需求,幫助用戶破解實時數倉建設難題,加速企業數字化轉型。

數據實時入倉,業務數據秒級分析

如今,數據已成為企業發展過程中必不可少的核心生產資料之一,隨著企業數字化程度加深,如何通過數據提升生產力是企業不斷探索的方向。作為數據集成、開發和服務的核心載體,數據倉庫在其中發揮著關鍵作用。

傳統數據倉庫一般基于T+1數據集成構建離線數倉,以支撐企業各項分析與服務。傳統方案不但會影響線上業務穩定性,且難以支持企業的實時需求,隨著企業對于數據價值變現和應用的時效性要求越來越高,實時數倉應運而生。

阿里云一站式敏捷數據倉庫解決方案基于阿里集團多年實時數倉建設經驗,結合一站式數據管理平臺DMS及云原生數據倉庫ADB,支持業務數據實時入倉+增刪改查、基于拉鏈表的T+1周期性快照等功能,充分滿足企業應用場景對生產數據進行實時分析的需求,如:促銷大屏、監控報表、精準營銷、交互式運營分析等。

傳統實時數倉構建方案通常難以滿足多源異構數據實時入倉的需求,同時數據處理鏈路較長,效率無法保證。相較于傳統方案,阿里云一站式敏捷數據倉庫解決方案有如下4大核心優勢:

1、對業務側影響小,不會因為數據匯聚集中和實時加工影響業務側正常運行,CPU、內存占用低于5%

2、事務順序和數據準確性有保障,且處理鏈路短,支持在線數據實時處理落倉,效率更高。數據傳輸效率100m/s,數據延時在10秒內

3、支持復雜實時數據加工、計算邏輯

4、低代碼操作,能夠大大降低實時數倉的構建難度,提升構建效率的同時,支撐企業數字化轉型過程中的各類實時場景

DMS集成數據傳輸服務DTS,可支持數十種數據源的存量數據+增量更新數據,實時同步到ADB,確保實時數倉側數據與生產端保持一致。此外,DTS支持在實時數據入倉、數據集成過程中,對數據進行實時加工處理,幫助企業降本增效。

周期性快照,業務零打擾

除了實時統計分析場景外,企業為滿足周期性數據分析需求,需建設周期性全量快照。傳統數倉的周期性全量集成方案會對生產業務造成穩定性影響、全量集成時效性差、且無法滿足客戶針對任意時間點進行數據回溯的業務訴求。

針對T+1周期性集成場景,一站式敏捷數據倉庫解決方案支持基于拉鏈表的T+1全量數據快照,用戶通過簡單幾個步驟,即可按需生成各種周期的全量或增量快照。此外,業務還可按需進行任意時間點的數據回溯,以快速解決數據異常問題。

某銀行實時數倉構建案例

以某銀行為例,該銀行采用一站式敏捷數據倉庫方案構建實時數倉,以支持各業務線高效、定制的分析和決策需求。DMS集成DTS非侵入式實時日志解析能力,進行數據實時入倉,極大降低了數據同步過程中對業務系統的資源消耗,對業務操作零干擾,大幅降低實時數倉建設難度。此外,方案助力該銀行按T+1(小時)頻率快速生成快照表,千萬數據級快照只需3分鐘,結合ADB對海量數據的毫秒級交互式分析能力,進一步提升了實時數倉對分析決策的支撐效率。

阿里云資深技術專家、數據庫產品事業部生態工具部負責人陳長城

阿里云資深技術專家、數據庫產品事業部生態工具部負責人陳長城表示:“一站式數據管理DMS的目標是幫助企業在線數據價值最大化,企業通過一站式數據管理DMS+ADB可快速構建實時數倉,實現庫倉一體的技術架構。

相比傳統方案,可有效解決多種在線數據資產化的難題,實現按需建倉、數據集中和敏捷開發。借助庫倉一體的DMS數據傳輸與加工鏈路,大大縮短數據流ETL鏈路,降低維護成本,通過數據開發進行靈活的任務編排和產品化支持T+1場景,可降低數據加工門檻,快速發揮企業在線數據價值?！?/p>

阿里云研究員、數據庫產品事業部OLAP產品部負責人占超群

阿里云研究員、數據庫產品事業部OLAP產品部負責人占超群表示:“云原生數據倉庫AnalyticDB以云原生、數據庫與大數據一體化為核心,支持一份數據多計算場景、全鏈路數據實時化等特點,支持結構化和非結構化數據融合分析,可實現超大規模實時增刪改查、高并發低延時的按需低成本復雜分析,助力業務實現敏捷、實時、智能的數字化創新。

阿里云一站式敏捷數據倉庫解決方案,結合一站式數據管理DMS+ADB為企業提供了敏捷的數據入倉、ETL管理、任務編排、資產管理等能力,將企業數據資產價值最大化,未來我們還將推出更多企業級的能力,歡迎大家關注?！?/p>

目前,阿里云一站式敏捷數據倉庫解決方案已廣泛應用于金融、數字政府、零售、泛互聯網等行業,幫助企業建設數字化轉型的基礎底座。