火星一線 | 華為區塊鏈奠基者曹建農：區塊鏈為大數據交換和共享提供解決方案（附演講全文）_AIN

火星財經APP一線報道，2019年5月27日，由2019中國國際大數據產業博覽會組委會主辦，中央廣播電視總臺央視財經頻道聯合主辦，中國信息通信研究院承辦的“區塊鏈高端對話”在貴陽舉行。

香港理工大學電子計算學主任、華為區塊鏈奠基者、香港理工大學大數據分析中心實驗室主任曹建農發表了題為《區塊鏈技術作為大數據的共享和交換的支持》的演講。他表示，大數據并不是有數據就能用得好，大數據是多元的，要解決一個現象常常要用到不同領域的數據集，這就涉及到“數據共享”和“數據交換”，區塊鏈提供了大數據共享和交換非常有用的解決方案。而去中心化，透明性，不可篡改這些區塊鏈的特性也保證了數據的隱私性，權威性和可信任，為數據共享提供了前提。

但曹建農同時指出，采用區塊鏈技術來解決數據共享和數據交換也存在四個方面的挑戰：1.怎么讓用戶控制數據靈活共享；2.不同方法查找數據；3.如何減少延遲；4.怎么解決公平性。他表示，目前這四個挑戰已經在實驗室環境下找了一些解決方案。

以下為曹建農演講全文：

各位大家早上好，我是來自香港大學的曹建農。過去的研究都是圍繞著互聯網和移動計算。近幾年學校又成立了大數據中心分析研究中心。研究的范圍從傳統的分布式研究和移動和無線網絡擴展到現在大數據分析，以及云計算、邊緣計算和今天要講的區塊鏈技術。

今天分享《區塊鏈技術作為大數據的共享和交換的支持》。建立區塊鏈共享數據時，我們會遇到什么樣的挑戰？以及我們想到和研究的方案。首先講一下為什么要做大數據交換，為什么區塊鏈作為大數據交換技術支持是很有用的解決方案，最后講一下未來研發發展的方向。

聲音 | 火星人許子敬：2020年的牛市才剛開始:火星人許子敬發微博表示，數字貨幣市場，從期貨期權一統天下，到現貨杠桿的復蘇，也表明了場外資金的持續流入，而非持續的場內博弈。比特幣帶頭，競爭幣翻倍，2020年的牛市剛剛才開始。 ??[2020/2/16]

大家都知道現在大數據很熱，包括貴陽大數據博覽會也進行了四屆了，從大會剛剛興起時，大家談到的都是應用。但是有很多挑戰，包括挑戰其中之一，大數據用起來不是說你有一個數據就可以用得非常好。大數據來自于多元，而且是來自于不同領域的。要解決一個現象時要用到很多不同領域的數據集，這些不是從一個資源方可以得到。所以牽涉到一個問題，怎么“共享”我們的數據。從數據融合里面找到關聯，從而解決重要的挑戰性問題。

其中最大挑戰就是怎么樣共享數據。什么情況下有共享數據的需求？

首先，各地政府，包括底層的初創公司他們都強烈需求數據能夠共享。開放數據這個概念。開放數據為什么推動這么多年推不下去。很重要的原因是因為沒有數據支持，使得你的數據可以更好的使用。其中一個原因就是我不信任你，你用了我的數據，會不會誤用，會不會篡改后，在數據沒有授權的情況下給別人使用。公開數據現在是一個運動，但是這個運動推廣不下去，是因為數據共享技術方案沒有得到很好的解決。

第二，需要互相合作。舉例：比如智慧家居，智慧家庭說了這么多年，很多做智慧家居的公司，包括海爾、包括生產電冰箱的公司。你買了電冰箱、洗衣機，電視機，都是來自不同智慧家居服務商，他們的數據不公開，你怎么形成智慧家居的統一方案，現在做不到。現在政府迫使他們把數據開放，使第三方可以聯合解決這樣的方案。這是需要大家互相合作。

動態 | 2019高端雞尾酒會暨火星鏈&星社發布會圓滿成功:據官方消息，12月26日晚，由MARS?BlockChain和MARS?Chain主辦，星傳媒、庫神錢包協辦的“詩酒趁年華2019高端雞尾酒會暨火星鏈&星社發布會”于深圳福田成功舉辦。本次發布會吸引了來自全球區塊鏈頂尖投資機構、區塊鏈專家、合作伙伴、行業媒體等數百位嘉賓大咖蒞臨現場。

發布會現場，MARS Chain基金會主席Sophie、MARS Chain技術總監kenneth、星傳媒聯合創始人 Yoki、庫神錢包聯合創始人彭桅分別做了精彩的分享。

官方表示，此次火星鏈與星社的共同啟動意在為未來區塊鏈行業的發展提供更多高效、便捷、安全的服務，共同打造區塊鏈生態圈，推出更符合“區塊鏈時代”的新作品。[2019/12/27]

第三，大數據交易。數據是一個資產，我的數據給你用時，也不是無限給你用。貴陽很多年前就有大數據交易平臺落地。交易平臺里面的數據共享也存在著信任的問題，怎么樣定價，各種各樣的法律問題。這也是數據共享的其中一個應用場景。

應對不同的需求，現在在國內和世界上都有很多大數據共享平臺。比如有英國的IPMOKS，DATAEXCHANGE。就是希望有一個專門的平臺發表數據和尋找數據，進行交換和交易的數據。也有科學數據分享，大家收集的數據都是獨特的。

香港在政府推動下，想成立一個數據中心，叫DATASHARING，推廣這么多年還是一個信任問題，他要求不同公司把不同的數據貢獻出來，支持第三方公司進行數據創新，但是這個沒有很好的底下信任支持也很難推動。作為分布式技術平臺也有IPFS，這是全球文件共享系統，也是點對點的系統，它也是支持大家怎么共享數據。

聲音 | 火星人：EOS系統的內存RAM一個星期漲了15倍:火星人在朋友圈發布一張RAM交易價格圖，同時配文稱，“EOS系統的內存RAM一個星期漲了15倍，不管RAM的價格合理與否，EOS的第一個應用——去中心化的交易所已經正在實踐中。比特幣開啟了數字貨幣的時代，以太坊開啟了智能合約的時代，EOS也許正在開啟云計算的時代。”[2018/7/3]

雖然有各種各樣的大數據分享平臺，歸納成幾種方式。

第一，數據托管。有數據供應方把數據上傳到托管中心，有不同的代理查詢這些數據，得到這些數據后進行使用。數據的托管中心還是一個中心化，需要大家把數據上傳到托管的平臺上。

第二，數據聚合平臺。不需要把原始數據和大量數據上傳到平臺上，但是你把數據的原數據，這些數據的信息上傳下去，可以成為文件的縮影，供大家查詢。他們私下進行交換和共享時，通過點對點方式做。這樣還是存在中心化的聚合中心。它們有各種不同的好處和壞處。從X緯和Y緯來看，Y緯談到你這組數據有沒有權威性，X緯就想你這個平臺能不能保證安全。

數據托管的權威性很多，大多數數據托管中心都是經過政府和一些可信任的機構認證或者授權的。數據的聚合中心適應性相對會增加，但是，它是讓用戶上傳數據原數據，可信度就相對降低了一些。我們需要尋找解決方案，它是由有權威性，同時，又可以保證你的私隱和安全。區塊鏈就提供了一個很好的解決方案。區塊鏈是分布式的賬本和分布式的中心庫，它可以去中心化，有數據不可篡改，加上匿名化都是數據所需要的特征之一。

區塊鏈有三個性質。去中心化，透明性，不可篡改。首先去中心化可以保證私隱性，我的數據共享上來你甚至不知道誰共享這個數據，你只能看到這個數據。第二，透明性和不可更改性，就保證的權威性，大家互相信任。數據共享和交換方面，區塊鏈滿足了這些需要的要求。

火星財經完成新一輪融資 策源資本和火幣生態基金投資:新加坡舉行的WBF世界區塊鏈大會三點鐘峰會上，火星財經發起人王峰對外透露，火星財經剛剛完成A+輪融資。此輪融資由策源資本領投，火幣全球生態基金跟投，投后估值3.3億元。[2018/6/8]

我們在區塊鏈方面的研究，起源于跟華為的合作，華為當時有一個數據共享平臺，包括它想在臉書上和谷歌上面都可以共享他們的數據。后來我們想到這是很難的一件事。為何不去做相對基礎化的技術研究。大家的數據可以共享出來，加上適當的API和適當的方式，讓大家對等交換。所以我們就做了A13的項目：

第一，有很多數據平臺應用，這個平臺最好跟具體數據應用無關，這樣就需要我們有一個可通用性的表達方法。

第二，必須安全和可靠。這就是去中心化，有共識，不可篡改，要保證分布式的賬本。

第三，保證數據共享的內容和數據共享的方式。所以有各種不同的控制方式讓大家享用這個數據。

總結一下，這是我們設計的三個原則：應用無關、安全可靠、靈活的控制數據共享內容。

系統架構非常簡單，每個人只要下載一個API就可以了，這個上面有寫界面，主要有三個方面，怎么樣發表數據，怎么樣使大家可以查找取得數據，用了數據后進行共享，共享的記錄怎么保存起來。上面有兩種不同的數據。一種是原始數據不希望放在區塊鏈上。因為太大了，也想保留在局部范圍內控制它，你上傳原數據這樣有一個單獨的區塊鏈專門保存原數據的記錄。另一種是，通過原始數據去交易的時候有單獨的一個鏈，這就是共享的數據連，所以有兩條鏈在里面，這兩個鏈相互交互，具有一致性和協調和同步。

火星人HX測試網已測試完畢 HSR大漲16%:火星人許子敬剛剛宣布Hcash RC1公共測試網HX已經測試完畢，此前Hcash在3月8日上線了HX測試網絡。HSR現全球均價7.07美元，24小時漲幅15.84%。[2018/3/21]

應用很簡單，首先去查找，我們有數據。到系統后會通過分布式賬本查到數據，所有應用結果，交易的記錄也會存在賬本里面。同時還支持智能合約。使得你想多步完成進行原子化和計算的步驟，可以被強迫的自動執行，它可以通過條件的滿足同步執行。最后把結果反饋給應用，所以是很簡單的系統架構。

表面上看著很簡單，實際上下面有很多挑戰性，我講四方面的挑戰。

第一，怎么讓用戶自己控制他的數據如何被靈活共享和靈活的被使用。數據怎么樣被共享？能不能保持時間窗口，什么時間可以共享一年數據，兩年數據，三年數據或者哪方面數據可以共享。我可以給你一個靈活的機制，讓你決定你要共享哪些數據。我們有三種解決方法。1，跟你達成協議可以把你的數據下載到我這里，你數據有一個拷貝件在我使用方拷貝。這種情況下，大家不愿意。2，只是看一下你的數據，瀏覽一下你的數據，我覺得哪些數據有用再跟你交易。3，更加安全可靠的方法，把你的運算放在數據方我來給你運算。這三方面都可以支持它。

第二，怎么樣快速處理你的數據。當你的數據交易記錄，共享記錄越來越多時，查找的時候性能很慢。大家可以想一想，比特幣剛剛出來的時候，大家用POW算法，共識的方法需要很長時間。這跟我們現在用的VISA的速度不能比。

第三，取數據時會延遲，怎么減少延遲？用戶就想看到我的交易能很快的認證和存到區塊鏈里面，所以它的時延比較短。怎么樣時延比較短？牽涉到兩方面。1，你去查找它時，或者得到數據查找時，可以把以前經常查找的結果把它緩存起來，所以不需要每次都到區塊鏈里面一個一個找。2，把數據打包時就優化，這樣方便到后面查找。這個時候你在每個塊的前一端，最好有一個關于塊內容的總結。看一下這個總結就可以決定是不是到塊里面逐個記錄查找。

大家都知道POW和POS很多不同的傳統方法，都先起一個共識，共識就是我是最合適打包的，大家有共識說對，你是最有權利打包之后，我再揀出1000個記錄打成一個包。這是兩個證明，第一我是最適合打包，第二選哪些交易記錄打包。

數據共享里面能不能把這兩個結合起來。存這個包時，能不能想到數據之間的相關性，怎么樣讓后面查找方面一點。數據是不是近似的數據。查找數據時，比如你是做食品的，可能會專門查食品交易的塊，而不會查關于專利的塊。

我們提了一個共識方法，誰能首先在這么多交易記錄里面找到它的語義上距離最近的交易記錄進行打包，我們證明叫“近似性證明”。這樣的方法是滿足共識算法。第一你做的時候非常困難，一旦做出來要驗證很簡單。同時，它也把打包和共識證明我最適合打包這兩個方面有機的結合起來了。

把近似的數據放在一個塊里面，這個塊頭里面就是總結這個里面有哪些數據。比如有水果的數據，就把關于有關水果的交易記錄放在塊里面。有關于人物的，所有圖林獎獲得者的記錄，這樣查找就先查找塊的頭文，不滿足就不進去找，滿足的時候就進去找，這樣節約很多時間。

在交易池里面很多交易記錄，通過它的交易的把最合適的予以距離最小的若干包打包就變成了“塊”。在塊用BLOCKSEARZH技術就產生了總結的塊，這樣就形成新的打包的塊，它有塊的記錄，同時里面所有交易記錄滿足語義最小化的要求。

第四，區塊鏈現在不能保證公平性？公平性的概念就是有了數據后，存在交易，交易記錄可以長時間不被打包，這可能不是有意，也可能是有意。進行交易的記錄可能十秒鐘被打包，也有可能是一小時，兩小時被打包。這是系統設計沒有考慮公平性問題。也可能是別人攻擊你，有意不讓你打包或者惡意攻擊。現在的區塊鏈里面沒有說明公平性。現在我們擴展到“服務質量打包”。這樣把公平性作為其中特殊的理由，你還有沒有想到其他公平性或者其他服務質量。我付的錢多一點，我是VIP你給我打包是不是速度快一點，像傳統物聯網里面也可以應用到區塊鏈打包記錄。

這四個方面的挑戰是現在存在技術的問題。怎么樣能夠最大化區塊鏈的公平性，同時不影響它的系統的吞吐力？

定義公平性，肯定有N的交易記錄，有T1、T2到TN在交易池里面，在區塊里面要找到它的交易記錄。它打包性是存在的。有的時候在記錄池里面并不代表被認證過和打包的。假設所有的交易塊的有效性是相同，我們的目標就是設計這樣的策略，使得大家被打包的時間盡量相等，使它最大化。同時不要影響到系統的吞吐力和性能的要求。

將等待時間最長的打包是解決公平性最好方法。把交易池的交易記錄按照時間排成序，排成等待時間最長的先打成包。并不是交易池里面取出來的任何交易記錄都可以打包。有的交易記錄有關系。這個記錄跟那個記錄相關聯，那個記錄沒有被認證時，他們不能被打進包里。也時候執行智能合約時需要多個智能合約，比執行一個智能合約產生的交易記錄還沒有完成時你也不能打包，你不能任意取出來。

當等待時間不能被打包時，我們應該選擇什么方式打包？我們用的方式是在互聯網里面使用資源公平性的INDEX，我們證明你把所有交易記錄，里面等待時間最大塊的結合起來，它的公平性也就最大。證明了這個之后你就很好做，從資源池挑出K個可以被打包，使得他們等待時間最長，這樣打起包來公平性最大。這實際上也是一個基于傳統公平性解決方法。

剛才簡單說了一下，如果你享用區塊鏈做大數據的分享和交換。這是一個很好的技術支持方案，可以解決信任問題，同時也可以解決數據共享里面的各種各樣的公平交易，質量，還有不可篡改，不可抵賴。我講了四挑戰，可能后面還有更多的挑戰。比如你的匿名性怎么保證。匿名性現在在區塊鏈里面不會被嚴格的保護，我跟你交換時不喜歡你是誰，你也不想知道我是誰。我們叫匿名交換。

總結，我們實驗室在區塊鏈里面從各種不同的層次上，我們都做了很多研究。從最底層，數據這一層怎么打包，怎么做新的匿名性的方法，做非對稱的數字編碼和簽名。上面這一層就是你的共識層，我們提出了兩個，第一，新的共識方法，怎么基于數據相似形進行打包。怎么樣保證打包時你的服務質量的打包。第二，智能合約怎么保證它的可靠性，怎么保證它的性能。智能合約用到很多運算，有的運算很費資源，有的運算不費資源，怎么樣比較節省的利用智能合約，防止智能合約被攻擊。

我們有三個項目，第一個跟華為共享的項目，跟阿里巴巴做了供應鏈數據管理的項目。現在在做的就是剛剛拿到香港政府支持的，怎么樣做食物安全的供應鏈方面的區塊鏈應用研究方法。我們產出了一些我們的專利和發表的文章。謝謝大家！今天就分享到這里。謝謝！

Tags：區塊鏈CHAMARAIN區塊鏈可以看著是什么Smart Block Chain CityMARTUnited Credit Chain

Pol幣