微眾銀行區塊鏈開源數據治理通用組件 釋放數據價值_區塊鏈

隨著信息化、數字化、智能化的進程加速，特別是后疫情時代，數據在全球經濟運轉中的價值日益凸顯。今年三月底，數據更是被作為一種新型的生產要素寫入中央文件，與土地、勞動力、資本、技術等經典生產要素并列。

數據最終的價值來源于治理。只有經過采集、清洗、分析和處理后的數據，才能在流通中更順暢地使用，其價值才能得到更充分地挖掘。同時，隨著區塊鏈技術的蓬勃發展，區塊鏈漸趨規模化應用，鏈上數據總量呈指數級增長，其中蘊藏的巨大價值，也需要通過高效、規范的數據治理，才能得到充分彰顯。

微眾銀行區塊鏈在多年技術研究和應用實踐的基礎上，積極分析、總結行業需求，研發了一套數據治理通用組件解決區塊鏈數據治理的技術難題，多維提升開發、運營、運維效率。

目前，WeBankBlockchain-Data已在金融、公益、農牧產品溯源、司法存證、零售等多個行業落地和使用，歷經多個內外部生產環境項目的打磨，不斷以“輕量化、模塊化、通用化”的設計哲學進化，具備處理海量數據、高可用、可審計等能力。

為助力全行業伙伴提升區塊鏈數據治理的效率，實現數據從要素到資源的轉化，我們秉持一貫開源開放的理念，將WeBankBlockchain-Data面向社區和公眾完全開源，誠邀各行業伙伴攜手共建區塊鏈數據治理體系，為數據價值的全面釋放提供有效路徑。

數據治理通用組件解決什么問題？

在區塊鏈底層和區塊鏈應用之間，橫亙著一條區塊鏈技術、業務和產品的鴻溝，存在著區塊鏈數據擴容難度大、鏈上數據難以查詢和分析、典型場景缺乏通用化產品或組件支持等多種挑戰。

微眾銀行馬智濤：數字世界和實體世界深度融合的三個可探索方向:金色財經報道，2月24日，微眾銀行副行長兼首席信息官馬智濤在“2022產業區塊鏈年度峰會暨FISCO BCOS五周年生態大會”表示，在數字世界與實體世界深度融合上，行業目前仍面臨現實瓶頸。而基于區塊鏈技術打造的元宇宙平臺，能夠將各產業分散的數字化應用從“點”整合成“面”，為更全面的數字化提供了實現基礎。

在會上，馬智濤分享了行業在構建數字孿生體、營造數實交融的服務場景、助力數據資產化和資產數字化以釋放數據要素價值等三個探索方向。他認為，這三個探索方向，在元宇宙這個領域非常值得去深挖，其中區塊鏈的技術扮演著一個非常重要的支撐的角色。[2023/2/27 12:30:54]

社區也經常會有朋友問到：

區塊鏈節點服務器的磁盤快滿了，該怎么辦？

如何批量查詢智能合約里的數據？

我想查詢某個賬號發過的所有交易怎么查？

微眾銀行區塊鏈對賬方案是怎么做的，有沒有通用的解決方案？

……

為什么強大的區塊鏈還有這些問題呢？

首先，隨著區塊鏈數據的“爆炸式”增長，鏈上已經積累了億計的交易、幾T的數據，節點服務器逐漸無法滿足交易數據的存儲需求，單純對節點存儲空間進行擴容不僅開發成本高、硬件成本高，而且在數據擴容過程中因技術要求較高，易引發系統性風險，且不能一勞永逸地解決問題。另一方面，大量交易冷數據不僅浪費空間，而且會影響區塊鏈節點出塊和執行交易的性能。

微眾銀行馬智濤：在區塊鏈等技術保障下提出了“善度”的治理模式:金色財經報道，由北京環境交易所、微眾銀行及北京綠普惠網絡科技有限公司聯合舉辦的?“綠色出行普惠平臺”暨“一噸碳”行動線上發布會于6月5日在北京召開。微眾銀行副行長兼首席信息官馬智濤視頻發布“善度”白皮書。他指出，新冠疫情的防治期間，科技手段發揮了很大作用，比如互聯網平臺推出健康碼。但社會治理的一般模式仍舊是“懲罰”為主，激勵向善的治理模式很少。往往受制于機制和技術的不成熟，激勵行為缺乏量化和協作的考核機制。以往我們在激勵過程中缺乏信息流和資金流的穿透管理。但在技術的急速發展中，云計算、大數據、區塊鏈等不斷成熟，在技術保障下，多個參與方可以實現可信的合作，因此我們提出了“善度”的治理模式，針對善行進行度量。善度框架并非是一種具體的產品或服務，也不依賴于特定的技術或底層平臺，而是一種參考框架。任何企業或組織都可以針對特定場景，選擇合適的技術方案，和合作伙伴一起實現基于善度框架的應用場景。[2020/6/5]

其次，區塊鏈由于特定的鏈式存儲結構，鏈上數據只能通過智能合約接口的方式獲取和調用，不僅執行效率低下，且隨著鏈上數據的增加，其查詢和計算性能逐級衰減，無法滿足大數據分析和復雜查詢的訴求，比如需要檢索已經部署在鏈上的所有合約。基于特定場景的數據導出解決方案，由于智能合約存在較大差異，需要針對智能合約做特定開發，成本很高，不能復用。

最后，基于區塊鏈的可信數據缺乏通用的產品和可復用的組件，部分場景之間存在類似的需求，比如業務對賬、區塊鏈瀏覽器、業務分析、監管審計等。不同項目之間存在著大量重復的開發，費時費力，同時區塊鏈應用的開發者完成工作目標需要經歷陡峭的學習曲線，還可能在開發、測試中引入各類風險。

聲音 | 微眾銀行區塊鏈戰略合作負責人：區塊鏈是一種趨勢:10月24日，由人民在線、微眾銀行主辦的“區塊鏈版權保護場景應用與探索”研討會在人民日報社新媒體大樓成功舉辦。微眾銀行區塊鏈戰略合作負責人鮑大偉表示，區塊鏈是一種趨勢，我們可以利用區塊鏈技術造福社會。他以微眾銀行的七大應用為例，介紹了區塊鏈技術如何產生社會效益。微眾銀行自2016年起和人民在線合作，不僅是“人民版權”的合作伙伴，也建立了人民慕課區塊鏈創業學院，開設了區塊鏈相關課程。今后微眾銀行將與人民在線不斷展開深入合作，努力利用區塊鏈技術為社會帶來更多效益。[2019/10/25]

WeBankBlockchain-Data從底層數據存儲層、智能合約數據解析層和應用層等多個層次入手，提供區塊鏈數據挖掘、裁剪、擴容、可信存儲、抽取、分析、審計、對賬、監管等數據治理方面的關鍵能力，滿足數據治理全流程開發場景的需求，如下圖所示：

區塊鏈數據經過區塊鏈共識節點的多方共識，一旦生成就不會被修改。

在運維層，區塊鏈的歷史區塊數據可被數據倉庫組件完整或部分導出到本地。作為可信存儲鏡像，導出的數據僅在本地有效，被修改不會影響鏈上共識。我們建議使用方建立管理方法，限制對本地數據的修改。

在應用數據層，數據導出組件支持導出源數據、初步解析和基于合約解析的多維數據。所有參與者均可部署自己的導出服務，作為本地查詢或分析的可信數據源。

在業務層，業務對賬組件支持機構內外部對鏈上鏈下業務數據進行對賬。

現場 | 微眾銀行副行長馬智濤：聯盟鏈并非只服務于聯盟成員 也能服務于公眾:金色財經現場報道，在今日萬向區塊鏈實驗室舉辦的2018區塊鏈·新經濟第四屆區塊鏈全球峰會上，微眾銀行副行長兼首席信息官馬智濤稱，已由真實社會檢驗的多維度信任機制包括政府信用、法律體系、標準技術協議、可信牌照資質等。算法可以建立信用，但并不是唯一建立信用的機制，因此，不必將原來的信用系統推倒重來。他認為，聯盟鏈并非只能服務于聯盟成員，同樣也能服務于公眾。他還認為，公眾聯盟鏈＝服務公眾＋聯盟治理＋分布式商業。公眾聯盟鏈對底層技術的要求是：需要開源和開放，實現聯盟成員之間的充分信任；需要支持快速、低成本的組建聯盟與建鏈能力、需要具備多鏈、跨鏈、處理海量交易能力。[2018/9/11]

數據治理通用組件包含哪些子組件？

目前，WeBankBlockchain-Data由數據倉庫組件(?src="https://img.jinse.com/4426052_image3.png"?>

數據導出組件?src="https://img.jinse.com/4426053_image3.png"?>

數據對賬組件?src="https://img.jinse.com/4426054_image3.png"?>

數據治理通用組件能怎么用？?

企業級區塊鏈應用存在多元化角色參與，諸如業務角色、運營人員、開發角色、運維角色等。針對區塊鏈數據，每一個特定的角色都有著不同的數據治理訴求。WeBankBlockchain-Data分別從區塊鏈底層節點數據維護、應用數據處理和業務數據應用三個維度，抽象、設計了對應的組件來滿足不同角色的對數據治理的需求。

微眾銀行：區塊鏈平臺記錄的真實交易筆數已達千萬量級:據澎湃消息，微眾銀行早在2016年就開始探索區塊鏈技術，著力推動區塊鏈技術研發和應用落地，成員已擴充至六大類行業、近80家機構。微眾銀行區塊鏈首席架構師張開翔表示，傳統“批量文件對賬”模式長久以來未能解決的成本高問題，正是區塊鏈技術的用武之地。目前，洛陽銀行、長沙銀行也相繼接入機構間對賬平臺，通過區塊鏈技術，優化貸業務中的機構間對賬流程，降低運營成本等目標。截至目前，平臺穩定運行1年多，保持零故障，記錄的真實交易筆數已達千萬量級。微眾銀行是由騰訊公司及百業源、立業集團等知名民營企業發起設立，總部位于深圳，2014年12月經監管機構批準開業，是國內首家民營銀行和互聯網銀行。[2018/3/13]

場景1：節點數據維護

數據倉庫組件Data-Stash是一款針對區塊鏈節點數據處理的輕量化、高安全、高可用組件，主要面向運維人員和開發人員。

數據備份：Data-Stash可以通過Binlog協議對區塊鏈節點數據進行準實時全量備份，區塊鏈節點可以根據實際情況進行冷熱數據裁剪和分離，在確保數據安全可信的基礎上，解決節點擴容問題，降低開發和硬件成本。在解決節點擴容問題的同時，可以使得節點“輕裝上陣”，不僅能夠減少節點空間的開銷，而且能夠有效提升節點執行交易的性能。

數據同步：對于加入區塊鏈網絡的新節點，可以通過Data-Stash，在FiscoSync工具的配合下，快速同步區塊鏈網絡的數據，確保節點以最快的速度參與到區塊鏈網絡的“工作”中，降低新節點因等待數據同步而造成的時間浪費。

場景2：應用數據處理

數據導出組件Data-Export提供了導出的區塊鏈標準數據、自動基于智能合約代碼智能分析而生成的定制數據，存儲到MySQL和ElasticSearch等存儲介質中，主要面向開發人員。

復雜查詢與分析：現有區塊鏈對查詢功能不太友好，且鏈上計算非常寶貴，Data-Export支持將鏈上存儲的區塊鏈數據導出到鏈下的分布式存儲系統中。開發者可以基于已導出的區塊鏈系統基礎數據，智能合約部署合約賬戶、事件和函數等數據，進行二次開發，定制復雜查詢和數據分析的邏輯，快速實現業務需求。例如，開發者可對交易明細根據業務邏輯進行統計和關聯查詢分析，開發各類反洗錢和審計監管報表等等。

區塊鏈數據可視化：Data-Export會自動生成Grafana的配置文件，無需開發，即可實現區塊鏈數據可視化。區塊鏈數據可視化不僅能夠作為區塊鏈數據大盤、數據查看、運營分析的工具，同時也可以運用在應用開發、調試、測試階段，以可見即可得的方式提升研發體驗和效率。此外，Data-Export還提供了RestfulAPI供外部系統集成。運維人員可以通過Grafana實時監控業務系統的狀態，業務人員可以在集成后的業務后臺系統上獲得該業務的實時進展。

區塊鏈中間件平臺WeBASE的數據導出子系統已經整合了Data-Export，同時，Data-Export也可以獨立與區塊鏈底層集成，以靈活地支持業務需求，迄今已在數十個生產系統中穩定、安全運行。

如今，Data-Export作為區塊鏈數據治理的關鍵組件，以開源形式發布，由社區伙伴通力完善，以適應更多的使用場景、打造更多的功能。

場景3：業務數據應用

在業務層，數據對賬是區塊鏈交易系統中最常見的場景之一。基于數個區塊鏈DAPP應用的開發和實踐經驗，我們封裝和開發了數據對賬組件Data-Reconcile，提供基于區塊鏈智能合約賬本的通用化數據對賬解決方案，并提供了一套可動態延展的對賬框架，支持定制化開發，主要面向開發人員，為業務人員提供服務。

企業內部對賬：Data-Reconcile支持企業內部系統之間的對賬，例如區塊鏈鏈上數據與鏈下業務系統之間的對賬。開發人員可以利用Data-Reconcile快速進行二次開發，將業務系統數據和鏈上數據進行核算比對，保證了企業內部業務系統數據的可靠和運行安全。

企業間對賬：Data-Reconcile可以幫助開發者快速構建跨機構間的對賬應用系統。例如，在結算時，A企業定期將自身業務系統交易數據導出為對賬文件，發送至與文件存儲中心。B企業可借助Data-Reconcile定期拉取A企業對賬文件，配合Data-Export，與企業內部的鏈上數據進行對賬處理。Data-Reconcile在保證對賬結果可信的同時提升了對賬的效率，可實現準實時對賬。

綜上所述，WeBankBlockchain-Data是一套穩定、高效、安全的立體化區塊鏈數據治理解決方案，旨在通過提供一系列相互獨立、可插拔、可靈活組裝的組件，應對和處理區塊鏈海量數據的問題，為用戶帶來更加便捷、簡單、低成本和輕量化的用戶體驗，從而推動區塊鏈數據治理的發展。

開源地址

github代碼庫地址：

Data-Stash數據倉庫組件

https://github.com/WeBankBlockchain/Data-Stash

Data-Export數據導出組件

https://github.com/WeBankBlockchain/Data-Export

Data-Reconcile數據對賬組件

https://github.com/WeBankBlockchain/Data-Reconcile

gitee代碼庫地址：

Data-Stash數據倉庫組件

https://gitee.com/WeBankBlockchain/Data-Stash

Data-Export數據導出組件

https://gitee.com/WeBankBlockchain/Data-Export

Data-Reconcile數據對賬組件

https://gitee.com/WeBankBlockchain/Data-Reconcile

文檔地址：

Data-Stash數據倉庫組件

https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Stash/index.html

Data-Export數據導出組件

https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Export/index.html

Data-Reconcile數據對賬組件

https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Reconcile/index.html

歡迎參與WeBankBlockchain的社區建設：

如項目對您有幫助，歡迎點亮我們的小星星(點擊項目左上方Star按鈕)。

歡迎提交代碼(Pullrequests)。

提問和提交BUG。

如果發現代碼存在安全漏洞，可通過https://security.webank.com/上報。

Tags：區塊鏈DATADATATA區塊鏈域名bigtourismdataFuture data networkTATA價格

抹茶交易所