“當前無論是機構還是企業都存儲了大量數據，使用這些數據一度不太高效。”在12月15日舉行的《NoETL白皮書》發布會上，浙江大應科技CEO周衛林表示，數據編織技術的應用將大大縮短數據從混亂到有序的時間。

　　資料顯示，權威信息技術分析公司高德納(Gartner)連續三年將數據編織技術(Data Fabric)列為“十大數據和分析技術趨勢”之一。在其此前發布的中國數據分析與人工智能技術的相關報告中，數據編織技術與大模型一并被列為有望膨脹發展的技術。

　　那么，什么是數據編織技術?應用這一技術對挖掘數據生產力，提高數據要素效能將發揮哪些作用?

數據編織虛擬圖

　　“編織”出海量數據的“經緯”邏輯

　　近年來，數據計量單位從兆比特(MB)持續增長到吉字節(GB)、太字節(TB)、拍字節(PB)……無論傳統行業還是新興行業的數據都在以指數倍速度擴大體量。

　　“數據倉庫是‘只進不出’的，它的規模會不斷增長，但量的增長未必會帶來價值的增加。”周衛林解釋，數據是否產出價值與其數量并不存在線性關系，如果不能及時處理、分析，提煉成知識，數據量的增加反而會增加成本，降低效率。

　　因此，由于數據海量增加，很多企業或機構面臨新問題，需要及時對數據的“經緯”邏輯進行梳理。相關負責人表示，招商銀行總行數據“湖倉”的整體規模已達數十PB。主要數據倉庫生產系統規模已經增長到十幾萬張表、每天需運行幾十萬個任務對數據進行抽取、轉換、加載，由于處理量巨大，數據準備周期長、人力投入大，有些任務的完成周期達到兩周，難以完成及時“微決策”需求。

　　應對數據量陡增，數據編織被認為能為海量數據快速、“有序”分析提供有效方案。“對數據進行‘編織’是在數據虛擬化的基礎上。”周衛林說，虛擬化之后，數據無需復制就可以整合，且不受數據源、格式的限制，這一技術隱藏了數據本身的復雜性和差異性。

　　“數據編織技術能夠對不同數據進行邏輯整合，我們和大應科技合作構建出一個統一的邏輯數據資產層。”招商銀行技術人員介紹，數據使用者只需在“邏輯層”調用，就可高效獲得可用數據，整體計算和存儲消耗不到傳統方案的50%。

　　縮短長流程的數據處理，使其隨時可用

　　“通過‘邏輯層’提供統一數據服務，不僅實現了實時的數據訪問，還減少數據復制的搬運時間和成本。”周衛林表示，因此，能夠極大提升數據要素的生產力。

　　此外，由于有了統一的“邏輯層”，此前需要技術人員才能有效處理的跨源、異構數據普通業務人員也能處理。周衛林打了個比方，“邏輯層”就好比電腦的“視窗”系統，之前要學會DOS語言才能操作，現在操作則只需要鼠標和按鍵。

　　“我們的可信數據能夠以可理解的方式交付給業務的決策者。”招商銀行相關技術人員表示，由于數據都在“邏輯層”上，業務部門可以進行自助服務，不同部門間也能開展高效協作，無需像之前只能等待數據工程師在物理集成的基礎上再開發復雜的數據鏈路。

　　“數據二十條”提到要引導企業和科研機構推動數據要素相關技術和產業應用創新。為保障數據安全，數據流通通過技術實現了“可用不可見”;為了提高數據利用效率，仍需要通過技術改變數據價值挖掘時“可見不可用”的問題。

　　“隨著信息化水平的提升，機構和企業中均形成了大量新的數據源，不同數據源的數據類型不同。”周衛林表示，為應對這一新問題，企業將持續開展科研創新，通過應用數據編織、AI增強的自適應加速等新技術助力數據要素在實現價值的“最后一公里”上隨取隨用。

　　(圖片均由受訪單位提供)

　　來源：科技日報　作者：張佳星