騰訊發布自研第四代數智融合計算平臺“騰訊大數據-天工”,引領大數據計算進入下一時代
4月18日,在 “騰訊大數據高峰論壇”上,騰訊正式發布自研第四代數智融合計算平臺“騰訊大數據-天工”,該平臺以最新的“數據協同、技術互通、平臺大腦”技術理念為基礎,在確保數據安全這一重要前提下,真正實現萬億級數據分析無人“自動駕駛”,進而推動大數據和人工智能技術融合為一,引領全球大數據計算進入下一時代。
圖說:騰訊發布自研第四代數智融合計算平臺“騰訊大數據-天工”
中國科學院院士梅宏、中國信息通信研究院云計算與大數據研究所副所長魏凱、埃森哲戰略與咨詢董事總經理袁虹、騰訊數據平臺部總經理蔣杰、英特爾大數據首席工程師程從超、騰訊數據平臺部副總經理劉煜宏、騰訊數據平臺部AI平臺總監陶陽宇等國內大數據領域領軍人物做了演講。會上,中國民生銀行廖鵬、中國電力科學研究院張玉天、中國電信云計算分公司溫森茂、騰訊聶晶及陳鵬就隱私計算的機遇與挑戰展開了圓桌對話。
蔣杰在會上表示:“作為新型基礎設施的重要組成部分,大數據產業將迎來發展的新階段。此次發布的第四代數智融合計算平臺,將以安全的方式打通數據孤島,橋接多方數據,以統一的數據處理引擎更高效地挖掘數據價值,以智能化的方式驅動整個數據處理閉環,為開發者、企業、以及政府的數字化、智能化升級打下堅實基礎?!?/p>
安全,自研隱私計算技術領冠全球
為打破數據孤島實現數據協同,數據安全是重中之重?!膀v訊大數據-天工”采用自研隱私計算技術,從機器學習到大數據分析為各個場景提供全方位保護,去中心化的架構則能避免單點隱私泄露風險。目前,“騰訊大數據-天工”可以支持千億級規模的海量數據訓練,性能參數領先業界5倍,在此基礎上,提供3072bit業界最高強度加密和TEE硬件雙保險,最大限度確保數據安全。
憑借該技術,騰訊大數據相關團隊獲得iDash 2020世界隱私計算大賽冠軍,安全性能領冠全球。據了解,金融級安全強度的騰訊隱私計算技術已廣泛應用在醫療、金融風控、數字政務等眾多領域。
智能,萬億級數據分析將實現“自動駕駛”
從離線計算、實時計算再到機器學習,大數據智能化是第四代數智融合計算平臺規劃的必由之路,騰訊正在構建平臺大腦,推動萬億級大數據分析逐步實現“自動駕駛”。從快速發現大數據運行問題到主動發現問題,再到主動解決問題,平臺大腦預計可讓數據中心研發效率提升60%,運營效率提升50%,平臺服務質量提升80%。
統一,大數據和人工智能融為一體
大數據智能化趨勢日漸明晰,大數據和人工智能技術的融合也在不斷加速各行業的數字化升級。鑒于二者本質技術類似,“騰訊大數據-天工”平臺通過解決大數據和人工智能計算框架的統一,從而更好地適配CPU、GPU、NPU、FPGA等硬件。包括通過構建大數據、AI基礎算子,統一元數據用于執行優化,統一批、流、圖計算形態來統一計算引擎,并及時編譯,代碼生成適配異構硬件。
十年深耕,“騰訊大數據-天工”引領全球大數據浪潮
蔣杰表示,騰訊自身即擁有海量的數據規模,目前騰訊大數據平臺日接入消息量超過55萬億,日實時計算量超過65萬億,平臺整體算力超過500萬核,日分析任務達到1500萬,騰訊云已經成為國內算力最強的云廠商,同時也是日實時計算量最大的公司。
自2009年開始,騰訊就開始深耕海量大數據處理領域,其第一代大數據平臺依托Hadoop生態,圍繞離線計算模式化構建出能夠穩定支撐小時/天級別的計算任務數據處理平臺,該平臺在2016年取得世界排序冠軍佳績;2012年前后,騰訊第二代大數據平臺通過引入Spark、Storm等實時計算處理框架,讓大數據平臺處理性能邁入毫秒級別,當時便已躋身國內實時計算量規模第一寶座。
2015年,騰訊第三代大數據平臺朝著機器學習發展,其自研機器學習框架Angel成為國內第一個從Linux基金會畢業的頂級AI項目,并推動國內大數據處理正式進入機器學習時代。從2020年開始著手規劃的第四代數智融合計算平臺“騰訊大數據-天工”,無疑將持續引領全球大數據計算走上安全、統一、智能的新征程。
值得一提的是,為更好地探索數字時代中發展和安全的平衡點,騰訊在此次峰會上也重磅發布《騰訊隱私計算白皮書》。白皮書由騰訊研究院聯合公司內部多部門共同撰寫,從隱私計算發展背景、技術體系、重點應用行業和場景、數據安全合規、未來發展前景等多角度全方位探索隱私計算,通過與業界凝聚共識,共同推動隱私計算技術的發展。
會上,騰訊大數據與中國信息通信研究院云計算與大數據研究所簽署戰略合作協議,將就技術創新及標準制定、測評認證及應用示范以及聯合實驗室籌建等展開深度合作。