Web3 可以從 Twitter 的時間線架構中學到什么_ITT

簡介

11月13日，ElonMusk為Twitter進行了1000多次RPC來呈現用戶的主頁時間線而道歉。乍一看，如此大量的RPC似乎很荒謬。如今，Twitter每月為2.6億活躍用戶提供服務，并且可以近乎實時地提供服務。為了解決亞秒級延遲的大規模采用問題，Twitter率先推出了許多解決方案，包括ApacheStorm、Heron、DistributedLog和Aurora。他是Scala的主要貢獻者，包括finagleRPC框架，以及lambda架構、SnowflakeID和Segcache等創新。那么，為什么像Twitter這樣的創新型全球化公司需要如此多的調用來獲取用戶的時間線數據？

Twitter所面臨的問題讓我們想起了當前Web3中不斷增長的煩惱：開發者常常被迫一個接一個地連續調用許多API來獲取組裝業務邏輯的數據。這會導致性能不可靠且不可預測，即使對于最簡單的用例也是如此，例如獲取用戶的交易歷史記錄。就增長而言，前十大公鏈的交易量在兩年內翻了100倍。在圖1中，我們展示了每秒推文數量和每秒Web3交易數量之間的比較。如果Web3繼續沿著圖中描繪的軌跡發展，那么當今大多數Web3數據基礎設施解決方案將無法應對增長。

圖1：推文與Web3排名前10的鏈早期寫流量QPS對比。

德勤和Chainalysis達成合作尋求實現加密合規性:金色財經報道，德勤和區塊鏈數據平臺Chainalysis宣布成立新的戰略合作聯盟，以幫助客戶應對數字資產生態系統合規挑戰。通過該聯盟，客戶將能夠利用Chainalysis的專有區塊鏈數據集、分析軟件和培訓計劃以及德勤的服務，幫助客戶管理取證、調查和合規計劃。

公告稱，隨著監管機構明確對數字資產的期望、執法機構建立區塊鏈追蹤能力、金融機構制定數字資產戰略，德勤和Chainalysis正在滿足市場對風險管理技術解決方案和服務的需求，雙方將共同幫助其共同客戶實施最先進的取證、調查和合規計劃。[2023/7/26 15:58:39]

在這篇博文中，我們將重點介紹Web3可以從Twitter的擴展解決方案中學到什么。具體來說，我們討論以下內容:

?我們概述了Twitter的時間線基礎設施之旅，認為他們當前的架構確實對特定用例有意義，并得出結論，一些批評可能是錯誤的，例如ElonMusk最近的推文為渲染主頁時間線的大量RPC道歉。

?我們深入研究Twitter和Web3之間的技術相似性，并探索前者的解決方案如何使后者的解決方案受益。

?我們分析了當前的Web3增長趨勢，以及缺乏現有的高性能數據基礎設施解決方案，并得出結論，如果我們想要支持實時Web3數據訪問，則需要進行重大升級，以及ZettaBlock解決方案如何幫助開發人員減少70%的開發時間，并將性能提高10倍，演示可以在這里找到

Redeem宣布完成250萬美元種子前融資:金色財經報道，區塊鏈公司Redeem宣布完成250萬美元種子前融資，由Kenetic Capital 領投，據悉，Redeem允許用戶使用電話號碼領取NFT，而不必設置加密錢包。

Redeem聯合創始人兼首席執行官 Toby Rush 是第三次創業，他在 2016 年以 1 億美元的價格將其生物識別公司 EyeVerify 出售給了阿里巴巴的金融科技子公司螞蟻集團。[2023/3/9 12:50:47]

Twitter的數據基礎架構之旅

一開始，Twitter使用VanillaMySQL。這很快成為了一個問題，因為在最初的幾年里，推文的數量每年增長10倍。從2007年到2012年，Twitter的月活躍用戶從幾千人增長到超過1.38億。已知的水平和垂直切分的知識無法為Twitter處理高流量的性能，尤其是在渲染主頁時間線方面。

時間線是Twitter的主要平臺功能之一。一般來說，Twitter的時間線主要有兩個操作，具體如下:

1.寫入路徑：該路徑用于用戶發布推文。2012年，Twitter平均每秒處理4.6萬個寫入請求，在高峰時段處理1.2萬個RPS。

2.讀取路徑：此路徑用于用戶請求他們的時間線。2012年，Twitter每秒處理大約30萬次讀取請求。

為了更好地理解Twitter如何呈現時間線，讓我們更深入地研究呈現流程，如圖2所示。當Twitter用戶今天發布一條推文時，Twitter首先將其寫入Manhattan，一個分布式鍵值數據庫，用于存儲用戶推文、直接消息、帳戶詳細信息等。該推文在時間線緩存中向該用戶的所有關注者展開。雖然這將寫入放大從每秒4.6k請求增加到每秒345k請求，但它也大大降低了用戶的讀取延遲。因此，時間線渲染不是在關注者和推文之間做一個連接表，而是從緩存中的單個表中獲取推文。這些操作通常在不到5秒的時間內完成。通過分布正在寫入的數據，系統可以通過刪除表連接來避免過度增長。因此，讀取延遲被改進到幾百毫秒。

ANKR短時拉升超50%，現報價0.05美元:金色財經報道，據行情顯示，Web3 基礎設施提供商 Ankr Token ANKR 30 分鐘內拉升超 50%，現報價 0.05 美元。此前報道，微軟與Ankr合作為需要區塊鏈數據訪問的企業提供節點服務。[2023/2/21 12:20:23]

圖2：Twitter的時間線渲染流程。請注意，時間線中的每條推文都需要至少一個RPC。

前面提到的渲染流程對于絕大多數用戶來說可能已經足夠了，但是“超級中心用戶”呢？超級中心用戶是指擁有眾多粉絲的用戶。所描述的扇出模式，在超級中心用戶的情況下，可以放大1.2億倍！這就是為什么在Twitter的早期，有專門為賈斯汀·比伯(JustinBieber)提供的專用服務器機架。為了容納超級中心用戶，使用了一種稱為Earlybird的特殊服務。在Earlybird中，超級中心用戶和普通用戶分別獲取不同的推文。這個過程如下面的圖3所示。

圖3：左側描繪了Twitter用戶混合時間線的抽象說明，右側描繪了相應的讀取SQL。

既然我們已經描述了提供實時推文時間線背后的復雜性，那么為什么單個時間線渲染需要許多RPC就很清楚了。例如，對于只有100條推文的時間線，RPC調用很容易超過1000次，因為僅僅獲取一條推文就需要多次RPC調用。該解決方案乍一看可能并不直觀，但它是一種經過深思熟慮的權衡，旨在為最終用戶提供優化且可預測的讀取性能。

區塊鏈公司Cryptyde擬以9340萬美元收購Forever 8 Fund會員權益:9月16日消息，納斯達克上市區塊鏈公司Cryptyde已與商業金融科技公司Forever 8 Fund, LLC簽署一項協議，將收購該公司全部會員權益（all of the membership interests），總計9340萬美元，其中5640萬美元將以股權、可轉換票據和債務承擔組合方式提供，另外3700萬美元則通過現金或股權對價方式提供。

Cryptyde專注于利用區塊鏈技術顛覆面向消費者的行業，曾推出過首個流媒體音樂NFT平臺E-NFT.com；Forever 8主要為亞馬遜、Shopify等平臺上的電商企業提供融資解決方案，通過基于SKU的去中心化融資模式為全球電子商務賣家提供資金。（Globenewswire）[2022/9/16 7:00:39]

Twitter實現的最終結果非常積極：99%的延遲只有幾百毫秒左右。在過去的10年里，這種基礎架構已經被證明是可靠的，可以在沒有重大變化的情況下處理Twitter流量的高速增長。

請注意，我們忽略了Twitter時間線的其他方面，包括評分、排名等。有關這方面的更多詳細信息，請參閱本文末尾列出的參考資料。

Web3和Twitter數據的相似之處

Copper 瑞士分支獲準加入自律機構 VQF:金色財經報道，數字資產托管提供商 Copper 表示，其瑞士分支已獲準加入該國的金融服務標準協會，該協會是瑞士監管機構金融市場監管局 (FINMA) 認可的自律組織。該公司的一位發言人表示，作為 VQF 的成員，Copper 獲得了運營該部門的必要批準。Copper 首席執行官 Dmitry Tokarev 說：“瑞士作為數字資產的先驅地，為我們在歐洲大陸的業務發展提供了理想的立足點。”（coindesk）[2022/5/31 3:51:23]

圖4：Twitter和Web3數據的相似之處

Twitter和Web3生態系統有很多相似之處：

1.Web3是一個社交圖譜，推文類似于交易，回復類似于日志。圖4描述了這一點，其中比較了順序時間線渲染和順序區塊鏈的塊。

2.Web3協議和Twitter存在超級中心效應。最受歡迎的NFT平臺的交易量是第10個平臺的1000倍。

3.Web3和twitter都是開放平臺，對所有用戶可見，并允許某些API訪問。

如果我們放大一點，Twitter和Web3之間的數據訪問模式有更多相似之處：

1.讀取量大，但每條記錄很小。在EVM鏈上，日志和交易的平均大小只有幾KB。

2.最新數據將被更頻繁地查看，其中大部分查看來自發布后的前幾個小時。

3.數據在短時間是不可變的。鏈上數據可以通過reorg恢復最新的區塊。同樣，現在用戶可以在發布后的一段時間內編輯推文。

Web3可以從Twitter的架構中學到什么

與2020年初相比，前10大鏈的交易量已經增長了近100倍。Web3數據基礎設施的現狀類似于2008年前后的Twitter早期，當時大部分流量依賴于來自不同提供商的水平分片數據庫。因此，隨著Web3的持續增長，現有的Web3數據基礎設施將很難提供對數據的高性能訪問。

來自Twitter的扇出服務是將相關數據同時放在同一位置。這樣，當一個請求到來時，系統可以很容易地在一個地方找到相關數據，這導致數據已經被預處理并可以使用。這使得系統具有可擴展性，和可預測的性能。

遵循當前現狀的Web3應用程序缺少一個重要的組件來有效地聚合相關數據。具體來說，開發者必須一個一個地調用API來獲取數據。即使對于最簡單的用例，例如獲取用戶的交易歷史記錄，這也會導致性能不可靠且不可預測。

圖5：當前的Web3應用程序需要如何連續調用許多不同的API，即使是簡單的事務聚合。

由于所有Web3數據都是公開可用的，ZettaBlock構建了最先進的數據基礎設施來處理所有Web3開發人員的扇出部分。應用程序開發人員只需通過一個API指定他們想要查詢哪些相關數據，然后讓ZettaBlock聚合所有相關數據。如圖6所示。通過使用ZettaBlock，開發時間和API延遲分別減少了70%和90%。在https://demo.zettablock.dev/查看我們的演示。更多的技術細節將在未來分享。

圖6：與圖5相比，ZettaBlock將多個Web3數據集抽象為一個簡單、用戶友好且高效的API。

結論

在這篇博文中，我們剖析了Twitter的架構，并將其數據模型與Web3進行了比較，發現了許多相似之處。如果我們能得到一個信息，那就是許多現有的Web3數據基礎設施解決方案，就像早期的Twitter一樣，將無法跟上即將到來的數據需求。

這就是我們構建ZettaBlock的原因。ZettaBlock是一個全棧式Web3數據基礎設施平臺，可提供實時、可靠的API和分析，在幾分鐘內為您的應用程序提供支持。前面提到的扇出過程，這只是ZettaBlock上開發人員和企業可用的眾多功能之一。我們受到領先的web3公司的信任，如Polygon,Crypto.com,Circle等。我們的愿景是成為web3數據基礎設施的首選平臺。

請查看我們的演示/視頻了解詳細信息。

鳴謝

我想借此機會向所有在這篇文章中幫助過我的人表示衷心的感謝。特別感謝KevinRos、ChiZhang、MariaAdamjee、RaphaelSerrano、ZhenzhongXu、PaulTluczek、TianzhouChen、HemanthSoni、NitishSharma、RyanKim、AlexXu、VivekGopalan、NazihKalo、NirmalKrishnan、TimothyChen、MinHao、BoYang

參考

1.TimelinesatScale:

https://www.infoq.com/presentations/Twitter-Timeline-Scalability/

2.HowTwitterusesredistoscale105TBRAM:

http://highscalability.com/blog/2014/9/8/how-twitter-uses-redis-to-scale-105tb-ram-39mm-qps-10000-ins.html

3.WhatDatabasedoesTwitteruse?

https://scaleyourapp.com/what-database-does-twitter-use-a-deep-dive/

4.TwitterDataStorageandProcessing:

https://ankush-chavan.medium.com/twitter-data-storage-and-processing-dd13fd0fdb30#:~:text=That%20equals%20to%20the%2084,time%20the%20request%20is%20made

?責任編輯：Kate

Tags：TERTWIITTWITInternet MoneyTwitter DogeLittle RabbitWitcher Fans

歐易交易所