區塊鏈存儲爆炸：問題、分析與優化_區塊鏈

（編按：本文為QuarkChain創始人兼CEO周期博士撰寫的技術文章，并以此文章問依據，在DApp Learning進行了技術分享講座，中文講座視頻請點擊文章第二篇推送?）

背景

DeFi、GameFi等去中心化應用的蓬勃發展，極大地增加了對低交易費用的高性能區塊鏈的需求。然而，構建高性能區塊鏈的一個關鍵挑戰是存儲爆炸。下圖是取自 Etherscan 的圖表，它說明了一個以太坊全節點（存檔）的區塊鏈數據大小。

從圖中我們可以看出，節點的鏈數據規模穩步增長，現在已經達到~9TB。由于去中心化區塊鏈的一個目標是允許普通配置的計算機運行節點，因此在普通配置的計算機上強制要求 9TB+ 存儲會難以達到。

如果我們進一步分析存儲使用情況，我們可以發現區塊數據只占了約300GB的數據（從區塊高度0到13.6M），這一數字遠小于9TB。那么剩下的8.7TB數據從何而來呢？

實際上，存檔節點執行所有塊并保留所有歷史數據，包括：

狀態

交易收據

這其中，狀態是這 8.7TB 的主要組成部分。所以有時，我們將存儲爆炸稱為“狀態爆炸”。但是為什狀態會如此之大？

什么是以太坊狀態？

聲音 | 中宣部出版局副局長：要積極利用5G、區塊鏈等新技術新應用:在19日舉行的2019中國游戲產業年會上，中宣部出版局副局長馮士新表示，國家新聞出版署正在抓緊建設統一的實名驗證平臺，為游戲企業做好防沉迷工作提供必要條件。馮士新向與會相關政府部門和游戲企業的代表提出建議：著力推動高質量精品化戰略。要加強和改進宏觀調控，加大對優秀產品的支持力度，對內容玩法高度重復或相似的題材進行有效調控，堅決遏制過剩供給，淘汰不良供給，引導企業牢固樹立精品意識，推動行業加快向高質量發展轉變。要積極利用5G、人工智能、大數據、區塊鏈等新技術新應用。（中國新聞網）[2019/12/20]

以太坊狀態是一個Merkle Patrica樹（MPT），其中

葉子節點是地址 (0x...) => 帳戶的映射，其中帳戶存儲與地址關聯的余額、nonce等

內部節點維護樹結構，以便可以快速計算整個樹的哈希根

由于存檔節點將保留所有區塊的所有歷史狀態，這意味著 MPT 中的任何更新都將創建 O(log(N)) 個內部節點，并且不會刪除舊的內部節點。

聲音 | 中國傳媒大學鄭寧：對自媒體的規制可考慮用區塊鏈等技術預防和懲治侵權:據法制網報道，中國傳媒大學政法學院法律系副主任鄭寧認為，對自媒體的規制應當從以下幾點考慮：用大數據、區塊鏈等技術預防和懲治侵權；提高侵權成本，從司法角度加大侵權賠償力度；加強行業協會自律。[2019/6/29]

Geth 的全節點

為了解決存檔節點狀態爆炸的問題，Geth 的天才工程師們創建了一種稱為“修剪”模式的新模式，該模式僅定期存儲 MPT。這里我們舉一個簡化的例子，其中節點只保存每 3 個區塊的MPT。（注意，為了獲得一個不包含任何狀態區塊的狀態，節點必須獲得該區塊之前最近的狀態，并重放接下來的交易）。

通過定期存儲 MPT，狀態的存儲大小顯著減少。據 Etherscan 數據，目前 Geth 全節點的區塊鏈數據大小約為 1TB。

Geth 的可快速同步的全節點

通過從創世區塊開始重放所有交易來運行節點的一個問題是，重放所有交易會占用很長時間。一般來說，建立這樣一個節點需要數周時間才能從創世區塊趕上網絡的最新狀態。為了加速節點的啟動過程，Geth 進一步提供了一種快速同步模式，可以下載最新的穩定區塊的 MPT，而無需重放和維護區塊之前的歷史 MPT。下載完 MPT 后，它會像全節點一樣重放新區塊（帶有定期狀態存儲）。

動態 | 預計到2024年區塊鏈物聯網市場總值將達到30.21億美元:據美通社消息，Research And Markets發布的一份新報告提到：預計到2024年，區塊鏈物聯網市場（blockchain IoT market）總值將從2019年的1.131億美元增至30.21億美元，年復合增長率達92.92%。 推動市場增長的主要因素包括：推動市場增長的主要因素是物聯網的采用率不斷提高，對物聯網安全、業務流程簡化、透明度及穩定性的需求不斷增長，以及對運營效率日益關注。 此外，區塊鏈物聯網市場的潛在機遇包括智能合同和數字身份的區塊鏈解決方案得到更多采用，以及政府舉措不斷增多。 市場的主要限制包括：不確定的監管狀態、節點數量增加帶來的更高延遲。對區塊鏈技術缺乏認識以及缺少相關標準對區塊鏈物聯網市場構成了重大挑戰。[2019/4/25]

在不存儲歷史 MPT（有時甚至是歷史區塊主體）的情況下，一個 Geth 節點的存儲大小可以進一步減少到 447G（截至 2021/12/06）。通過減去 300GB 的區塊數據，我們推斷狀態大小約為 150GB。

以目前以太坊 447GB 的存儲大小和 15 TPS，我們預計具有 1TB SSD 的普通配置計算機應該能夠運行以太坊節點相當長的一段時間（比如數年）。那么存儲爆炸或狀態爆炸真的存在嗎？或許未來幾年以太坊并不會，但假如我們可以將以太坊的虛擬機 (EVM) 擴展到數百或數千 TPS 呢？

聲音 | 福布斯中國首席執行官：媒體能協助建立區塊鏈的風險預警系統:7月19日舉辦的2018年全球媒體區塊鏈峰會上，福布斯中國首席執行官李思衛表示，媒體可以在信息服務、投資者教育、縱深研究和平臺互通這四方面有效地助力區塊鏈的發展。“媒體能通過提供精準有效的行情和深厚扎實的研究，協助建立區塊鏈的風險預警系統，并打通行業內的資源。”與會者也談到區塊鏈發展中的問題。李思衛表示，越來越多的資本關注到區塊鏈。該產業也存在業務同質化、配套監管不完善等情況。[2018/7/20]

讓我們將目光轉向另一個基于 EVM 的鏈，幣安智能鏈（BSC）。截至 2021 年 12 月 8 日，BSC 已有：

約 984 GB 鏈上數據，其中區塊約占 550 GB，狀態約占 400 GB。

20.6623 億筆交易，100 TPS

如果我們進一步用交易數量來預測數據大小，我們可以得到：

如果 TPS 為 100，即 ~3,153 M TPY

1 年后，總 TX ~5,219M，區塊 ~ 1.375 TB，狀態 ~ 1.085TB

3 年后，總 TX ~11,525M，區塊 ~3.025TB，狀態 ~2.387 TB

如果 TPS 為 150（觀察到的峰值 TPS），即 ~4,730 M TPY

1 年后，總 TX ~6,796M，區塊 ~1.809 TB，狀態 ~1.427 TB

螞蟻金服胡喜：螞蟻金服的區塊鏈方面的專利水平在全球排第一:螞蟻金服副總裁胡喜：區塊鏈具備全球部署、高性能、高可用、安全增強等特性。螞蟻金服在區塊鏈領域的一些嘗試和應用包括：提高慈善行業透明度、相互式保險合同、租房合同、供應鏈透明度、區塊鏈即時服務BaaS、其他金融行業應用等。螞蟻金服的區塊鏈方面的專利水平在全球排第一。[2018/3/26]

3 年后，總 TX ~16,256M，區塊 ~4.327 TB，狀態 ~3.414TB

綜上所述，對于BSC來說，如果保持目前的速度甚至更高，則很快就會達到以太坊存檔節點相同的存儲大小，這是普通計算機幾乎無法運行的。

具有極高 TPS 區塊鏈的存儲爆炸問題

如果我們對一個極高 TPS 的區塊鏈（比如像 QuarkChain 能夠做到的那樣）做一個更大膽的假設，這個數字會變成多少？我們來考慮一個具有 1000 TPS 的區塊鏈并分析其區塊和狀態大小，將是：

假設 tx 大小約為 100 字節，每年區塊所需的存儲量為 1000 (TPS) * 100（每 tx 字節數）* 365 * 24 * 3600 = 2.86 TB

假設 MPT 有 100 億賬戶（超過世界人口！），我們預計狀態大小將為 150G（以太坊狀態大小）/0.18B（以太坊唯一地址）* 10B = 8.3 TB

將這些數字放在一起，我們很容易得出一個結論，這是大多數普通配置計算機將 無法承受的要求！

為了優化存儲成本，我們必須將限制放寬為兼容 EVM 而不是兼容以太坊。即，我們必須構建/運行另一個支持 EVM 的鏈，而不是高度優化的以太坊客戶端。

狀態存儲優化

我們提出的第一個優化是使用普通的 KV 而不是 MPT。當 MPT 很大時，MPT 中的所有內部節點可能非常昂貴。而我們的優化將去掉 MPT 中的所有內部節點。假設每個賬戶的數據大約是 50 字節（20 個地址 + 2 個nonce + 12 個賬戶 + 其他），我們可以節省下100億賬戶的數據為：

~ 10B * 50 + 100GB（代碼）= 600 GB，大約是MPT版本的1/10！

雖然使用普通 KV 會帶來巨大的好處，但一個主要問題是我們無法在如此短的區塊間隔內計算每個區塊的狀態后哈希，這意味著我們將失去以太坊的以下好處：

快速同步：下載任何區塊的狀態并通過重放剩余的區塊來快速同步網絡

分叉檢測（或拜占庭檢測）：來自對等方新創建的區塊是否會導致與本地執行區塊的狀態不同。

為了啟用快速同步，我們有一個周期性的快照區塊（快照間隔 = epoch = 例如，14 周）。一個快照區塊包含前狀態哈希這一附加信息，即前一個快照區塊的后狀態哈希（執行交易之后的狀態哈希）：

非快照區塊不維護狀態哈希，而是具有增量哈希，其中包含該區塊的所有交易事務的原始數據庫操作（刪除、更新）的哈希。這使得分叉檢測成為可能！

我們使用交易前狀態哈希來代替以太坊中區塊的交易后狀態哈希。原因是節點不能立即計算狀交易后的狀態哈希，但是通過使用交易前狀態哈希，節點可以使用整個epoch間隔來計算哈希。例如，假設狀態哈希計算每秒處理 10M 的狀態數據，那么計算 600 GB 的整個狀態將需要 600 GB / 10 M ~ 16.67 小時（vs. epoch = 14 周）

計算狀態前哈希的流程如下：

1. 當一個快照區塊被接收并最終確定時，它的 KV 狀態被快照，并創建一個后臺線程來迭代所有 KV 條目（地址 => 帳戶）并計算哈希。

2. 當下一個快照區塊被創建時，計算出的狀態前哈希值將存儲在該區塊中。同樣，節點將創建 KV 的另一個快照并在后臺計算其哈希。

3.當下一個快照區塊被創建時，節點除了存儲狀態前哈希之外，節點現在可以釋放快照區塊的KV快照，這意味著來自快照區塊以來所有被刪除/更新的數據將被自動垃圾回收（例如，在 levelDB 中壓縮）

其結果意味著，要存儲狀態，節點只需要最多兩個 KV 快照（很可能是一個帶增量和一個 KV 快照）。

使用快照區塊，我們可以通過僅存儲以下數據來進一步減少節點中所需的區塊數據：

最新的快照區塊的交易執行前狀態快照，即（最新 —? 1）快照區塊的交易執行后狀態

（最新 — 1）快照區塊之后的完整區塊?

我們可以對存儲成本進行簡單的數學計算：假設 epoch 持續時間為 2 周，則區塊重放大小為

2 * 14（天）* 24（小時）* 3600（秒）* 100 * 1000（TPS）= 224 GB！

而且，這里的數字不會隨著時間的推移而增長！

我們分析了以太坊當前的存儲使用情況：

不僅是區塊，狀態存儲消耗了很多的空間

當 TPS > 1000 時，存儲空間用量高得令人望而卻步

我們提出對區塊和狀態進行優化：

區塊大小從每年 2.86 TB 減少到 224 GB

狀態大小（~10B 帳戶）從 8.3 TB 減少到 600 GB

一臺 2TB 的普通配置計算機應該能滿足長時間運行節點的條件

缺點：輕節點無法驗證狀態中的一個數據（必須是全節點）

感謝 dapp-learning 主辦此次活動。教學全程視頻可點擊公眾號第二條推送觀看。

Tags：區塊鏈以太坊MPTTPS國內區塊鏈公司前十排名以太坊價格今日行情分析IMPTtps幣圈

加密貨幣