來源|EthereumBlog
作者|?MartinHolstSwende&PeterSzilagyi
MartinHolstSwende及PeterSzilagyi于2021年5月18日發布
原標題:《化險為夷:以太坊的狀態問題》
本篇博文的目的在于正式揭露以太坊平臺在柏林硬分叉之前的一個嚴重且顯而易見的問題。
State狀態
我們先從以太坊和及其“狀態”的背景開始梳理。
以太坊的狀態由patricia-merkletrie組成,一種前綴樹。本文不會深入技術細節,簡單來說隨著狀態增長,樹的分支會越來越密集。每個加入的賬戶都是一片新葉子。在樹根之間和葉子之間,存在大量的“中間”節點。
為了查找某個特定賬戶,或是說這顆巨樹中的一片“葉子”,從樹根再通過中間節點,需要按序解決6-9個哈希才能最終對我們所尋找的數據進行哈希計算。
簡而言之,每執行一次查找賬戶的trie查詢,都要執行8-9個解析操作。每次解析操作都是一次數據庫查詢,而每次數據庫查詢都可能是任意數量的實際磁盤操作。磁盤操作的數量難以預估,但是由于trie密鑰是加密哈希(抗沖突),因此密鑰是“隨機的”,這對任何數據庫來說都是最糟糕的情況。
隨著以太坊的發展,一直以來都有必要提高樹訪問操作的gas費用。2016年10月,在經歷了“上海攻擊”時間之后,以太坊網絡在區塊高度2,463,000?進行了TangerineWhistle?硬分叉,其中包含EIP150,大舉提升了某些操作的gas成本,并引入了大量更改以防御DoS攻擊。
Worldcoin已完成OP主網遷移:7月20日消息,World ID和TFH的World App技術堆棧關鍵部分已完成OP主網遷移,用戶遷移也已經開始。對于 World ID持有者和World App用戶來說,完成遷移意味著:
為了支持World ID,Worldcoin協議已遷移到以太坊,并為 Optimism和Polygon PoS搭建了橋梁;
大部分Safe錢包已部署到OP主網,其余的將部署在用戶發起的遷移上;
World App現在支持OP主網上的Uniswap;
World App已更新,提示用戶開始遷移過程,平均需要90秒。[2023/7/20 11:07:47]
另一次對gas費用的提升是在2019年12月的Istanbul升級中,激活了EIP1884。
EIP-1884針對gas費用引入了以下改動:
?SLOAD?從?200?提升至?800?gas
?BALANCE?從?400?提升至?700?gas(并添加了一個更便宜的?SELFBALANCE)
?EXTCODEHASH?從?400?提升至?700?gas
出現的問題
2019年3月,MartinSwende當時在進行一些EVM操作碼性能的測定。之后的EIP-1884就是基于該調查而成的。在EIP-1884被激活的前幾個月,BrokenMetre發布了這篇論文(2019/9)。
Open Campus回應Token解鎖前轉移:已全部返還,仍于每月28日解鎖:5月26日消息,Web3 教育協議 Open Campus 發推稱,我們注意到,一些 EDU 在 5 月 25 日被轉移到一個不同的鎖定錢包,比預定的 5 月 28 日提前。沒有代幣被出售。我們深表歉意,因為這不應該發生,我們對在社區中造成的焦慮感到抱歉。代幣已經返回到它的原始錢包,并將根據每月 28 日的釋放時間表進行解鎖。團隊代幣的一次性解鎖期為 2 年,釋放期為 3 年(共 5 年)。我們在這里是為了長期發展,我們要再次感謝所有支持。我們對這個錯誤感到抱歉,并將確保今后避免類似的情況。
其中,流動性部分已返還 4,166,667 枚 EDU,生態系統基金已返還 4,947,917 枚 EDU,財庫部分已返還 3,958,333 枚 EDU,早期貢獻者部分已返還 11,250,000 枚 EDU,Operational Expenses部分已返還 715,863 枚 EDU,戰略銷售部分已返還 4,333,333 枚 EDU,顧問部分已返還 5,166,667 枚 EDU,團隊部分已返還 2,777,778 枚 EDU。總計 37,316,558 枚 EDU。[2023/5/26 9:44:35]
兩位以太坊安全研究員,HubertRitzdorf和MatthiasEgli,與論文的作者之一DanielPerez將一個漏洞“武器化”,提交給了以太坊的漏洞賞金(bugbounty)項目。這是在2019年10月4日。
美國比特幣公司宣布推出新的ATM自助終端功能BillPay:金色財經報道,Bitcoin?of America 宣布推出 BillPay,這是一項通過自助 ATM 提供的新服務。BillPay 允許客戶通過比特幣美國的 ATM 自助終端功能支付水電費,如果客戶需要現金,他們可以選擇出售他們的加密貨幣,獲得現金,并用它來支付給公用事業公司的賬單。可以通過 BillPay 支付的公司包括 Comed 和 Nicor。BillPay 目前可供在伊利諾斯州和德克薩斯州使用美國比特幣虛擬貨幣亭的客戶使用。此功能將很快在更多州推出。Bitcoin?of America 率先通過其 ATM 自助終端功能提供賬單支付服務。[2023/2/18 12:14:15]
建議大家閱讀這份他們提交的完整文檔,寫得很詳盡。
同日,在一個專門用于討論跨客戶端安全性的頻道中,來自Geth、Parity和Aleth的開發者都得知了這份文檔。
這個漏洞的本質在于觸發隨機的trie查詢。以下是一個簡單的示例:
在其報告中,研究員們通過eth_call對同步了主網的節點執行了這個payload,以下是他們執行過程中的數據,耗費了一千萬gas:
?消耗一千萬gas的EXTCODEHASH(400gas)
尼日利亞BTC點對點交易量在2022年上半年接近4億美元:金色財經報道,根據點對點加密貨幣交易平臺Paxful的最新數據,2022年上半年尼日利亞的比特幣交易量接近4億美元。再加上2021年的7.6億美元交易量,這意味著這個西非國家現在是加密貨幣交易所全球最大的市場。尼日利亞通過點對點(P2P)交易所交易的比特幣數量不斷增長,正值監管機構打擊違反尼日利亞中央銀行(CBN)2021年2月5日指令的金融機構之際。該指令禁止銀行和其他受監管的金融機構促進涉及加密實體的交易。(news.bitcoin)[2022/8/25 12:48:02]
Parity:?~90s
Geth:?~70s
?消耗一千萬gas的EXTCODEHASH(700gas)
Parity:?~50s
Geth:?~38s
顯而易見,EIP-1884的更改確實在降低該攻擊的影響上起到了幫助,但還遠遠不夠。
當時已經臨近在大阪的開發者大會。在開發者大會上,這個問題的信息分享給了主網的客戶端開發者。我們也和Hubert、Mathias以及GregMarkou(來自Chainsafe,當時也在進行一些ETC的工作)見面了。ETC的開發者也收到了這份報告。
隨著2019年臨近尾聲,我們知道這個問題比之前預期的要嚴重,惡意交易可能將區塊時間提升到分鐘范圍。更糟的是,開發者社區對EIP-1884感到不滿,因為EIP-1884破壞了一些合約流程,而且用戶和礦工都非常希望提高區塊的gaslimit。
Ankr Protocol宣布獲得Binance Labs的戰略投資:金色財經報道,Binance Labs透露了對Web3基礎設施提供商Ankr Protocol的戰略投資。Ankr 是著名的 Web3 基礎設施提供商,該協議在后臺運行,但它通過將分散的應用程序、錢包以及基于加密的游戲連接到它們需要與之通信的區塊鏈,使它們成為可能。
Ankr 以其通過引入 BNB Liquid Staking 以及構建其一些核心基礎設施(包括 Erigon 升級)對 BNB 鏈的持續支持而聞名,現已獲得幣安風險投資部門 Binance Labs 的戰略投資。[2022/8/11 12:19:20]
此外,僅兩個月后的2019年12月,ParityEthereum宣布停止運維,而OpenEthereum接管了代碼庫的維護工作。
隨后搭建了一個新的客戶端協調頻道,Geth、Nethermind、OpenEthereum和Besu的開發者在此繼續進行協作。
解決方案
我們意識到要解決這個問題,必須要雙管齊下。一種方法是通過以太坊協議以某種方式在協議層解決該問題。最好不要破壞合約,并且避免波及“良好”行為,但仍要設法防止攻擊。
第二種方式是通過軟件工程來解決,修改客戶端中的數據模型和結構。
協議層的工作
關于如何處理這些類型的攻擊的第一個版本在這里。2020年2月,正式發布為EIP2583。其理念是,每當一次Trie查找導致未命中時,施加一次罰款。
但是,Peter找到了應對方法,即“shieldedrelay”攻擊,可以有效地限制這種懲罰的上限(約為800)。
對未命中查詢進行懲罰的問題在于,首先需要進行查找,以確定是否施加懲罰。但是如果剩余的gas不足以支付罰款,已執行了未付費的消耗。即使確實會導致拋出異常,也可以將這些狀態讀取包裝到嵌套調用中,允許外部呼叫者繼續重復攻擊而無需支付(全部)罰款。
因為這個原因,這個EIP被放棄了,我們也在尋找更好的替代方案。
?AlexeyAkhunov提出了?Oil?的概念,gas的第二來源,但和gas在本質上不一樣,因為它對執行層不可見,并可能導致事務全局回滾。
?Martin在2020年5月也撰寫了一個類似的提案(GasAndKarma)
在對這些不同機制進行迭代的同時,VitalikButerin提議直接提高gas成本,并且保留訪問列表。2020年8月,Martin和Vitalik開始完善EIP-2929及配套的EIP-2930。
EIP-2929有效地解決了許多之前的問題。
?與無條件提升gas成本的EIP-1884相比,EIP-2929只提升了未訪問部分的gas成本。這導致凈成本提升了不足一個百分點。
?加上EIP-2930,不會對任何合約流程造成破壞
?并且能夠在不造成破壞的前提下進一步調整gas成本
2021年4月15日,這兩個EIP都在Berlin升級中被激活了。
開發工作
Peter在2019年10月提出的解決方案是“動態狀態快照”(dynamicstatesnapshots)。
快照是用于以平面格式存儲以太坊狀態的輔助數據結構,在Geth節點的實時操作期間,可以完全在線構建。快照的好處在于充當狀態訪問的加速結構:
?無需通過O(logN)次磁盤讀取(x?LevelDB開銷)來訪問一個賬戶或存儲插槽,快照可以提供直接的O(1)訪問時間(x?LevelDB開銷)。
?快照支持每項條目以O(1)復雜度迭代賬戶和存儲,這使遠程節點能夠以比以前便宜得多的方式檢索順序狀態數據。
?快照還啟用了更多奇特的用例,例如離線修剪狀態Trie或遷移到其他數據格式。
快照的缺點在于原始帳戶和存儲數據實際上是重復的。對于主網來說這意味著將占用額外的25GBSSD空間。
動態快照的概念從2019年中就已經發軔,起初的目的主要是推動快照同步的實現。當時Geth團隊在忙于許多“大項目”。
?離線狀態修剪
?動態快照+快照同步
?通過分片化狀態實現LES(LightEthereumSubprotocol)狀態分發
然而,最終決定將快照的優先級排到最前,將其他項目暫時擱置。這為后來的snap/1同步算法奠定了基礎,并于2020年3月合并。
隨著“動態快照”功能的發布,我們有了一些喘息的空間。如果以太坊網絡受到攻擊,那將是痛苦的,是的,但是至少有可能通知用戶啟用快照。完整生成快照將花費大量時間,并且當時尚無法同步快照,但是網絡至少可以繼續運行。
總結
2021年的三月到四月,snap/1協議在geth客戶端中實現了,使得通過新的基于快照的算法進行同步成為可能。雖然仍不是默認的同步模式,但這是很重要的一個步驟,使快照不僅可用作攻擊防護措施,并且對于用戶來說也是一項重要優化。
在協議方面,柏林升級于2021年4月完成。
以下是在我們的AWS監控環境中制定的一些基準:
?柏林升級之前,無快照,25M?gas:?14.3s
?柏林升級之前,有快照,25M?gas:?1.5s
?柏林升級之后,無快照,25M?gas:?~3.1s
?柏林升級之后,有快照,25M?gas:?~0.3s
大致的數據顯示柏林升級能夠將攻擊的效率降低5倍,快照能夠將其降低10倍,總計將影響降低了50倍。
我們估計目前在主網(15Mgas),對于未使用快照的geth節點來說,有可能創建執行時間在2.5-3秒的區塊。對于非快照節點來說,隨著狀態增長這個數字會持續惡化。
如果通過gas退還來增加區塊內的有效gas使用量,則可能會進一步加劇為(最大)2倍。隨著EIP1559的實施,區塊的gaslimit的彈性會更大,并且在臨時爆發中會再增加2倍。
至于實施這種攻擊的可行性,攻擊者購買一整個區塊的成本約為幾個ETH(100Gwei時15Mgas為1.5ETH)。
為什么現在公布?
這個風險其實一直以來都是一個“公開的秘密”,已經不止一次被意外公開披露,并且在核心開發者會議中多次被提及,但并未涉及細節。
現在既然已經實施了柏林升級,geth的節點也在默認情況下使用快照同步,因此我們估計現在的威脅性已經非常低了,現在是時候對幕后工作進行全面公開了。
重要的是,讓社區有機會了解一些變更背后的原因,而這些變更會對用戶體驗造成負面影響,例如gas成本增加和限制gas返還。
本文由MartinHolstSwende和PeterSzilagyi在2021-04-23寫就。并于2021-04-26與基于以太坊的項目進行分享,2021-05-18公開發布。
點擊“閱讀原文”獲取文章內部鏈接!
原文鏈接:https://blog.ethereum.org/2021/05/18/eth_state_problems/
據Coindesk報道,美國貨幣監察長辦公室新任代理主計長MichaelHsu在講話中表示,他要求審查聯邦銀行監管機構的所有未決事項,解釋性信函和指南,包括有關數字資產和加密貨幣的問題.
1900/1/1 0:00:00背景 2016年,當Gavin博士首次將Polkadot的概念提出時,人們還不以為然,覺得這只是一個充滿趣味性的“實驗性”項目,直到又過了4年后,波卡早期投資者已經完整熬過了一輪牛熊.
1900/1/1 0:00:00一場前所未有的針對比特幣交易的圍獵已經開始。財聯社記者獲悉,近期各地正在從多個方面對比特幣等加密貨幣產業進行整頓.
1900/1/1 0:00:00總部位于英國倫敦的加密貨幣交易平臺CoinBurp宣布完成200萬美元的私募輪融資,聯合領投方為MoonrockCapital和AlphabitCapital.
1900/1/1 0:00:00引言 財團與比特幣之間的戰爭,未來還會有國家力量加入,是多勢力博弈,這是一場全新的世界大戰。現在是以馬斯克代表的背后掌控傳統力量的巨型財團與比特幣之間的戰爭,未來還會有國家力量加入進來,是多勢力.
1900/1/1 0:00:00過去一段時間里,NFT已經成為加密貨幣世界里的“新寵”。加密貨幣近期暴跌。北京時間5月20日凌晨,比特幣一度暴跌30%,相比四月的價格高點則下挫超過50%。同一日以太坊跌幅最高也超過40%.
1900/1/1 0:00:00