I.引言
Crypto政策在制定時很少會用到真實且細化的數據,原因主要有以下三點:
1.新興技術領域的相關政策大多還停留在理論及定性分析層面,早期階段很少會使用到數據。
2.盡管鏈上數據全部開放透明,但要想訪問這些數據人們需要在短期內完成大量工作,即便對于Crypto原生從業者來說也是如此。
3.區塊鏈「取證」公司和數據供應商有少量的數據產品,但它們都不具備靈活性/可定制性,也不能滿足經濟/金融研究人員的需求。
許多現代經濟學和金融學研究人員錯過了將工具應用于Crypto數據分析的機會。從設計上講,Crypto可以向任何人提供細化數據,但大部分政策在制定時仍依賴于CoinMarketCap等外部預聚合時間序列數據源,而不是直接從數據源獲取數據,這又是什么原因導致的呢?
正如政策制定者可以查詢美國每家主要銀行的資產負債表,并逐秒觀察消費者存款的變化一樣,他們也可以毫不費力地查看整個Ethereum生態系統的Stablecoin發行情況,但大多數分析Stablecoin的政策文件卻采取了一種探討假設事件的分析方法。
我將在本篇中具體闡釋以下幾點內容,希望可以對想要使用鏈上數據的政策研究人員有所幫助:
比特幣全網未確認交易數量為11758筆:金色財經報道,據BTC.com數據顯示,目前比特幣全網未確認交易數量為11758筆,全網算力為271.35 EH/S,24小時交易速率為3.25交易/s,目前全網難度為36.84 T,預測下次難度下調0.23%至36.75 T,距離調整還剩4天4小時。[2022/11/3 12:11:21]
·鏈上數據的獲取方法
·鏈上數據所采用的結構
·提取和使用鏈上數據的幾個基本工具
在隨后的文章中,我將探討如何使用這里收集的數據來判斷Crypto市場的走勢。同時,我將在結尾發布可供免費使用的數據和代碼。通過闡明如何在區塊鏈中查詢數據,我希望向大家展示Crypto的開放性可以為數據決策開辟的新方法。
如果您就職于一家監管機構或研究機構,并在獲取Crypto數據時遇到了困難,歡迎與我們取得聯系分享你的想法,了解Paradigm可以為您提供哪些幫助。
II.鏈上數據獲取方法
一般來講,數據收集工作應集中在一個區塊鏈及特定項目的子集上,這些項目主要是以美元計價、法幣支持的Stablecoin,具體包括USDC、Tether、BinanceUSD、PaxDollar和GeminiDollar。該方法廣泛適用于鏈上數據,即便你想創建一個不同的數據集。
韓國檢方已凍結Do Kwon此前轉移至OKX、Kucoin的共計3313枚BTC:10月5日消息,首爾南部地方檢察廳金融證券犯罪聯合調查團宣布已追加凍結Do Kwon此前轉移至OKX的1959枚比特幣。至此,此前轉移的總計3313枚BTC(約6700萬美元)已全部被凍結。
此前報道,韓國檢方于9月14日在對Terra創始人Do Kwon發出逮捕令后,LFG在Binance上創建錢包地址中的3313枚BTC被相繼轉移至兩個韓國境外加密交易平臺,其中轉移至OKX1959枚BTC,轉移至Kucoin1354枚BTC,共計約合6659萬美元。此后Do Kwon曾在社交媒體上否認其“套現”行為,并單方面表示其資產并未被凍結。(韓媒《法律界》)[2022/10/5 18:40:08]
Etherscan這類區塊瀏覽器非常適用于查看交易快照以及收集特定智能合約的信息,但根據我的經驗,它們卻不太能用于生成大型數據集。在收集和處理原始數據時,你基本上有兩個選擇:在本地運行一個完整的節點,或查詢已經從鏈上直接寫入原始數據的數據庫。第一種方法對于專業技能和計算資源的要求比較高,而第二種方法則只需要基本的SQL和Python技能就可以實現,所以這里我們將采用第二種方法。
Block.one子公司Bullish.com裁員近30人:金色財經報道,加密貨幣交易所Bullish.com裁員應對市場低迷,此次裁員近30人。據LinkedIn資料,該公司共有員工約270人。該公司發言人周二證實了裁員的消息,同時補充說:\"Bullish將繼續積極招聘產品、工程和其他戰略角色。\"
據悉,Bullish.com于去年成立,是Block.one的子公司,Block.one是EOSIO區塊鏈背后的軟件公司。Block.one和Thiel Capital、Galaxy Digital、Nomura、英國對沖基金億萬富翁Alan Howard向Bullish.com提供了100億美元的初始資金。(The Block)[2022/7/6 1:53:21]
Dune和谷歌云平臺的BigQuery有最新的鏈上數據,這些數據都以表格的形式存儲在數據庫中,研究人員可使用SQL命令對其進行查詢。Dune還提供免費的數據庫,不過其速度較慢,而且還有些局限性,但它非常適合于A/B測試的數據查詢,也有助于你熟悉數據庫的運行模式,尤其是對于那些不善于使用SQL查詢關聯數據庫的人。BigQuery雖然更加靈活快捷,但谷歌會對計算資源收費,所以其價格也相對昂貴。我在第一次處理數據時,為了節省費用,我會先在Dune中測試查詢語句,然后再將其輸入GCP中運行。在大多數情況下,這種方法都能起到很好的效果
Twitter董事會批準馬斯克440億美元的收購要約:金色財經消息,據Bitcoin Magazine發推特表示,Twitter董事會批準了埃隆-馬斯克440億美元的收購要約。[2022/6/22 4:43:47]
III.鏈上數據結構
要回答這個問題,你首先需要搞清楚自己處理數據的目的。對于這個測試案例,我決定為主要的法定支持Stablecoin建立一個大型的時間序列數據集,并觀察一些特定的行為:鑄幣,燒毀(即停止流通Stablecoin)和轉移。我之所以選擇以這種方式進行研究,是因為政策制定者和學者目前最為關注法定支持的Stablecoin,所以這些數據在短期內可能相當有用。
以美元計價的幾大Stablecoin都采用了ERC-20Token標準。顧名思義,ERC-20是一種在Ethereum上使用智能合約創建Token的標準化方式。如果你把區塊鏈理解為一個巨大的去中心化Excel表格,那么智能合約就類似于Excel函數。在函數中輸入參數之后,它將使用其內置邏輯產生一個特定的輸出結果。
我們可以使用智能合約的Ethereum地址來對它們進行定位,這些地址是區塊鏈數據結構中的唯一標識符:
Osmosis:代碼補丁和緊急升級正在測試中,計劃本周末重啟區塊鏈:6月10日消息,Cosmos生態Osmosis區塊鏈針對此前出現漏洞事件更新進展稱,代碼補丁和緊急升級正在測試中。假設沒有不可預見的情況,目前的目標是能夠在本周末重啟區塊鏈。
與此同時,團隊正在進行數據分析,以便能夠生成蒙受損失的地址列表,這將用于recovery drop,計劃在鏈重啟后的幾天內面向受損用戶進行。
幾乎所有主要的攻擊者都在合作返還資金。任何不可收回或因為漏洞被意外使用的資金將由Osmosis開發者基金支付。這意味著不會逆轉交易或破壞鏈所有權不變性。
此前消息,Osmosis區塊鏈網絡已于區塊高度4713064處停止出塊,官方確認出現嚴重漏洞,損失約500萬美元。[2022/6/10 4:16:56]
·?USDC
·?TetherUSD
·?BinanceUSD
·?PaxDollar
·?GeminiDollar
與API類似,智能合約也是可以重復使用的程序。每次智能合約獲得互動指令時,都會產生該互動的記錄,并由Ethereum協議以日志的形式記錄在區塊鏈上,而這些日志則構成了智能合約活動的可靠信息來源。
當智能合同執行一個特定函數時,例如燒毀ERC-20Stablecoin以將其從流通中移除,該函數及其參數將作為交易日志記錄在區塊鏈上。
在下面的交易中,USDCStablecoin的發行商Circle燒毀了價值1056.92美元的USDC。
如果你切換到「日志」標簽,你就可以查看交易事件日志,相應的字段為
·地址:智能合約的合約地址。USDCStablecoin的合約地址是0xa0b86991c6218b36c1d19d4a2e9eb0ce3606eb48。
·名稱:智能合約執行的函數,以及該函數中的參數。在這里,智能合約正在調用燒毀函數,該函數接收的參數指定了所燒毀幣的發送地點和燒毀幣的數量。
Etherscan的輸出結果還會顯示主題和數據字段,這些字段包含了我們在分析交易時需要解析的大部分相關信息。
·Topic0是函數簽名的哈希值。從本質上講,它會將函數及其參數經由單向算法得到一個唯一的函數哈希值。Ethereum使用的是Keccak-256哈希函數,當你通過Keccak-256算法輸入函數簽名時,它總是會產生相同的哈希值,所以任何時候該哈希值出現在日志中,你都能確信是調用了同一個函數。
·Topic1是燒毀函數的一個索引參數。在這里,Topic1是燒毀的Token被發往的地址。(注意:如果燒毀函數有更多的參數,這些參數將作為額外的主題出現)
·這里的數據字段表示所燒毀Token的數量。
既然我們已經了解了鏈上數據的基本結構,就可以開始從Dune和GCP中提取數據了。
IV.提取并處理鏈上數據的基本工具
如前所述,在這個例子中,我選擇從現有數據庫中提取鏈上數據,而不是訪問Ethereum網絡上的活動節點。為了便于理解,我使用SQL從GCP提取了大量原始數據表格,然后在Python中使用pandas庫對其進行清理。
當我們從GCP提取表格時,我們將使用BigQuery,它儲存有很多Ethereum的數據表,如下圖左邊一欄所示。當你點擊一個表格時,相應的數據庫模式就會出現,就如下圖中的ethereum.logs表。與此同時,其中涉及的地址、數據和主題都會記錄到日志數據中去。
下圖中的查詢語句將用于提取日志表中涉及與USDC、TetherUSD、BinanceUSD、PaxDollar或GeminiDollar合約互動的所有記錄。除了ethereum.logs中的信息外,一些額外的信息也很有用,所以我還合并了ethereum.block表中的數據,其中涵蓋了Gas費等信息。
得到的表格可以直接由Python讀取,并借助pandas數據框架細分為以下字段:
·log_index
·transaction_hash
·transaction_index
·address
·data
·topics
·block_timestamp
·block_number
·block_hash
·number
·miner
·size
·gas_limit
·gas_used
·base_fee_per_gas
這些字段中的大多數都可以直接使用,不過第三節中討論的主題字段需要用Python進行一些額外的清理,以便將其分成多列。
V.結語
這篇文章使用的是Ethereum的日志數據,同樣的方法也可以用來訪問鏈上的各種數據。Python和SQL是大多數經濟學家和政策制定者所熟悉的工具,它們可以發揮很大作用。與傳統金融相比,Crypto更具透明度。這樣一來,研究人員就可以利用實時數據來闡明金融體系的運作方式,并及時控制住可能出現的風險。
在下一篇文章中,我將著重分析法幣支持Stablecoin的鑄造與燒毀,并提前準備好相應的數據集。在第三篇文章中,我將以圖表的形式向大家展示精細化鏈上數據可用來研究的問題。
責任編輯:Kate
Tags:THEETHEHERETHThe Nemesistogetherbnb為什么恐怖togetherbnb更新到哪里了EtherSmart
近日,ETHW鏈上NFT交易平臺Nuwton.io官方推特披露完成550萬美元融資,本輪融資由惟一資本、Wagmi33Foundation等機構和若干天使投資人投資.
1900/1/1 0:00:00一個月前,以太坊的成功合并開啟了它的全新時代,而以太坊礦工也成為一個歷史性的名詞,伴隨著的還有其50億美元的礦機市場和850TH/S龐大算力的煙消云散.
1900/1/1 0:00:00NordStream是向北歐輸送俄羅斯天然氣的管道之一,美國時間周一遭到破壞。同一天,比特幣的價格在幾個小時內從20,300美元跌至18,800美元.
1900/1/1 0:00:00北京時間今天清晨,Solana??生態去中心化交易平臺Mango遭遇黑客攻擊,損失高達1.15億美元.
1900/1/1 0:00:00當你在上網的時候,你是誰?隨著我們在網上花費越來越多的時間時,這個問題就更加重要了。在過去的十年中,互聯網的使用量增加了一倍多。對于Z世代來說,這個數字甚至更大.
1900/1/1 0:00:00先來一段梗暖暖場 你問我波場孫宇晨算什么東西?現在我就來告訴你,你火幣李林割不動的韭菜我孫哥來割,李林不敢發的幣我孫哥來發,李林不敢砸盤的我孫哥來砸盤.
1900/1/1 0:00:00