比特幣交易所 比特幣交易所
Ctrl+D 比特幣交易所
ads
首頁 > SOL > Info

一文了解快照(Snapshot)技術的發展-ODAILY_HOT

Author:

Time:1900/1/1 0:00:00

隨著計算機技術和網絡技術的不斷發展,信息技術水平不斷得到提高。人類進入稱為信息社會的二十一世紀后,諸如數字通信、數字多媒體、電子商務、搜索引擎、數字圖書館、天氣預報、地質勘探、科學研究等海量數據型應用的涌現,各種信息呈現爆炸式的增長趨勢,存儲成為信息計算技術的中心。應用對存儲系統的要求不斷提高,存儲容量不斷升級,從GB到TB、PB、EB,愈顯巨大。

圖靈獎獲得者JimGray提出一個新的經驗定律:網絡環境下每18個月生產的數據量等于有史以來的數據量之和。與此同時,現代企業對計算機的依賴性嚴重增強,信息數據逐漸成為企業賴以生存的基礎,數據損壞或丟失將給企業帶來巨大的損失。由于黑客、病、硬件設備的失效以及火災、地震等自然災害的原因,使系統和數據信息遭到破壞甚至毀滅,如果不及時地進行恢復,將對企業造成巨大的損失,所以備份容災技術顯得尤為重要。尤其,9.11等事件造成的災難性后果使人們更加深刻地認識到數據信息的價值和意義,日益重視數據的保護。

在過去的20多年中,雖然計算機技術取得了巨大的發展,但是數據備份技術卻沒有長足進步。數據備份操作代價和成本仍然比較高,并且消耗大量時間和系統資源,數據備份的恢復時間目標和恢復點目標比較長。傳統地,人們一直采用數據復制、備份、恢復等技術來保護重要的數據信息,定期對數據進行備份或復制。由于數據備份過程會影響應用性能,并且非常耗時,因此數據備份通常被安排在系統負載較輕時進行。另外,為了節省存儲空間,通常結合全量和增量備份技術。

顯然,這種數據備份方式存在一個顯著的不足,即備份窗口問題。在數據備份期間,企業業務需要暫時停止對外提供服務。隨著企業數據量和數據增長速度的加快,這個窗口可能會要求越來越長,這對于關鍵性業務系統來說是無法接受的。諸如銀行、電信等機構,信息系統要求24x7不間斷運行,短時的停機或者少量數據的丟失都會導致巨大的損失。因此,就需要將數據備份窗口盡可能地縮小,甚至縮小為零,數據快照(Snapshot)、持續數據保護(CDP,ContinuousDataProtection)等技術,就是為了滿足這樣的需求而出現的數據保護技術。

Filecoin支持的加速器DivInc推出DWeb Web3加速器:金色財經報道,創業加速器DivInc宣布,在Filecoin Foundation for the Decentralized Web (FFDW)的支持下,將推出其2023年秋季DWeb for Social Impact accelerator。DivInc的2023年秋季DWeb for Social Impact Accelerator支持由BIPOC領導的初創公司開發利用DWeb和Web3技術的全球解決方案。

這個為期12周的項目將于2023年9月至11月在休斯頓舉行,最多10家公司將被接受參加。項目完成后,每家參與公司將獲得1萬美元的非稀釋性種子資金。[2023/4/22 14:19:37]

什么是快照(Snapshot)

快照(Snapshot)是某個數據集在某一特定時刻的鏡像,也稱為即時拷貝,它是這個數據集的一個完整可用的副本。存儲網絡行業協會SNIA對快照的定義是:關于指定數據集合的一個完全可用拷貝,該拷貝包括相應數據在某個時間點(拷貝開始的時間點)的映像。快照可以是其所表示的數據的一個副本(duplicate),也可以是數據的一個復制品(replicate)。

快照具有很廣泛的應用,例如作為備份的源、作為數據挖掘的源、作為保存應用程序狀態的檢查點,甚至就是作為單純的數據復制的一種手段等。創建快照的方法也有很多種,按照SNIA的定義,快照技術主要分為鏡像分離(splitmirror)、改變塊(changedblock)、并發(concurrent)三大類。后兩種在實現時通常使用指針重映射和寫時拷貝技術。changedblock方式的靈活性及使用存儲空間的高效性,使得它成為快照技術的主流。

第一種快照是鏡像分離。在即時拷貝之前構建數據鏡像,當出現一個完整的可供復制的鏡像時,就可以通過瞬間“分離”鏡像來產生即時拷貝。這種技術的優點是速度快,創建快照無須額外工作。但缺點也很明顯,首先它不靈活,不能在任意時刻進行快照;其次,它需要一個與數據卷容量相同的鏡像卷;再者,連續鏡像數據變化影響存儲系統的整體性能。

Evmos發布2023年路線圖,含EVM擴展、EvmosSDK和dApp商店等內容:2月2日消息,Cosmos生態EVM兼容鏈Evmos發文《The Evmos Manifesto》,提出2023年路線圖,包括EVM擴展、Evmos SDK和dApp商店這三個關鍵部分。

其中,EVM擴展將允許開發人員連接Cosmos生態系統中的其他智能合約和應用鏈,并能夠對IBC模塊進行智能合約調用,以與其他鏈進行通信、發送和接收資產;Evmos SDK將允許區塊鏈開發人員創建針對特定用例量身定制的特定于應用程序的鏈或EVM鏈,從而更容易定制和啟動新的EVM鏈;dApp商店則旨在作為人們發現和利用基于Evmos構建的獨特Web 3應用程序的一站式接入點。(Medium)[2023/2/2 11:42:46]

第二種快照是改變塊。快照創建成功后,源和目標共享同一份物理數據拷貝,直到數據發生寫操作,此時源或目標將被寫向新的存儲空間。共享的數據單元可是塊、扇區、扇道或其他的粒度級別。為了記錄和追蹤塊的變化和復制信息,需要一個位圖(bitmap),它用于確定實際拷貝數據的位置,以及確定從源還是目標來獲取數據。

第三種快照是并發。它與改變塊非常相似,但它總是物理地拷貝數據。當即時拷貝執行時,沒有數據被復制。取而代之,它創建一個位圖來記錄數據的復制情況,并在后臺進行真正的數據物理復制。

不同存儲層次的快照實現

1992年圖靈獎獲得者ButlerLampson表示“計算機科學中的任何問題,都可以通過增加間接層次來解決”對于快照技術,我們可以在存儲系統中的不同層次來實現,可以在磁盤陣列、文件系統、卷管理器、NAS系統或備份系統中來實現。

圖1 存儲系統棧與快照實現

存儲棧由一組硬件和軟件組件組成,為運行在主機操作系統上的應用系統提供物理存儲介質,如圖1所示。快照可以采用很多不同實現方式,也可以在存儲棧中的不同層次來實現,大致分為軟件層和硬件層兩類,也可分為基于控制器的快照和基于主機的快照兩類。

SIMBA Chain獲得美國空軍STRATFI計劃3000萬美元的獎勵:金色財經報道,區塊鏈解決方案提供商 SIMBA Chain 已被美國空軍 (USAF) 選中用于一項價值 3000 萬美元的戰略技術重點計劃 (STRATFI)。該計劃的重點是確定和推進可以確保美國空軍未來主導地位的技術。 根據公告,這筆投資將用于開發供應鏈管理中的區塊鏈應用程序,以及將被多個政府組織使用的項目,包括負責研究與工程的國防部副部長辦公室、美國空軍、美國海軍、美國陸軍和國防后勤局。

SIMBA Chain 與國防部有著長期的合作關系,開發了各種區塊鏈應用程序來改進美國空軍的關鍵活動,例如預算令牌化,以便更好地核算和跟蹤航空服務部門的基本組成部分。STRATFI 計劃將加速 SIMBA 區塊鏈平臺 SIMBA Blocks 的開發,該平臺支持美國空軍的戰略使命。SIMBA Chain 的首席執行官 Bryan Ritchie 將 STRATFI 倡議視為對區塊鏈技術的強烈需求信號,以及提高商業行業采用率的機會。[2023/2/1 11:39:23]

基于控制器的快照,在存儲設備層或硬件層中實現,由存儲系統硬件提供商管理并集成于磁盤陣列中。這種快照在LUN級完成,獨立與操作系統和文件系統。基于主機的快照,在設備驅動和文件系統級之間實現,通常由文件系統、卷管理器或第三方軟件來執行。這種快照不依賴存儲硬件,但卻依賴于文件系統和卷管理軟件。該快照作用于邏輯數據視圖,這與基于控制器的快照的不同,它作用于物理數據。

在以上各個存儲層次中,物理存儲層和卷管理器是最適合實現快照的兩個組件,它們可以方便地利用物理存儲,是當前主流的實現層次。文件系統層實現快照是一個可行的選擇,然而諸如數據庫等應用會直接選擇使用邏輯卷來實現快照,因為在文件系統層它們不能被快照技術所管理。一般來說,沒有必要在應用層實現快照,對于備份機制,可以利用下層的文件系統或卷管理器接口來實現,但需要應用暫時停頓以保證快照數據一致性。總的來說,基于軟件層的快照易于操作,且提供比較好的恢復力度,而基于硬件層的快照往往更高的性能和容錯性。

俄羅斯議會將審議禁止加密支付的法案,預計于6月中旬進行一讀投票:6月13日消息,俄羅斯議員將審查一項禁止在俄羅斯使用數字金融資產(目前包括加密貨幣和實用數字權利或代幣的法律術語)作為支付手段的新法案。據Forklog報道,該法案已由金融市場委員會主席Anatoly Aksakov提交給國家杜馬。

根據立法機構的信息門戶網站,在該草案獲得委員會批準后,眾議院成員預計將在6月中旬對該法案進行一讀投票。如果獲得通過,該法律將明確禁止在俄羅斯聯邦境內進行加密支付,同時提議允許在對外貿易協議中使用加密支付。

此前消息,俄羅斯金融市場委員會主席Anatoliy Aksakov提出一項法案,擬禁止使用數字金融活動(DFA)來支付任何類型的商品或服務,旨在禁止在俄羅斯境內引入其他貨幣單位或貨幣替代品,并責令DFA交易所經理暫停任何涉及使用加密貨幣作為貨幣代用品的交易。(Bitcoin.com)[2022/6/13 4:23:16]

快照實現方式及技術

快照技術能夠實現數據的即時影像,快照影像可以支持在線備份。全量快照是實現所有數據的一個完整的只讀副本,為了降低快照所占用的存儲空間,人們提出了寫時復制和寫重定向快照技術。另外,還出現了其他一些快照技術的實現方式,如日志、持續數據保護等,可以提升快照的相關性能。

1、鏡像分離(SplitMirror)

鏡像分裂快照技術在快照時間點到來之前,首先要為源數據卷創建并維護一個完整的物理鏡像卷:同一數據的兩個副本分別保存在由源數據卷和鏡像卷組成的鏡像對上。在快照時間點到來時,鏡像操作被停止,鏡像卷轉化為快照卷,獲得一份數據快照。快照卷在完成數據備份等應用后,將與源數據卷重新同步,重新成為鏡像卷。

對于要同時保留多個連續時間點快照的源數據卷,必須預先為其創建多個鏡像卷,當第一個鏡像卷被轉化為快照卷作為數據備份后,初始創建的第二個鏡像卷立即與源數據卷同步,與源數據卷成為新的鏡像對。鏡像分裂快照操作的時間非常短,僅僅是斷開鏡像卷對所需的時間,通常只有幾毫秒,這樣小的備份窗口幾乎不會對上層應用造成影響,但是這種快照技術缺乏靈活性,無法在任意時間點為任意的數據卷建立快照。另外,它需要一個或者多個與源數據卷容量相同的鏡像卷,同步鏡像時還會降低存儲系統的整體性能。

Alpaca Finance將于6月2日新增CAKE的借貸金庫及杠桿收益池:6月1日消息,杠桿挖礦平臺Alpaca Finance計劃分別于北京時間6月2日15:00和18:00新增CAKE的借貸金庫及CAKE的杠桿收益池,其中包含BNB-CAKE(3x)、BUSD-CAKE(3x)、USDT-CAKE(3x)這3個CAKE的交易對。[2022/6/1 3:56:23]

2、寫時復制

圖2 寫時復制快照

寫時復制快照使用預先分配的快照空間進行快照創建,在快照時間點之后,沒有物理數據復制發生,僅僅復制了原始數據物理位置的元數據。因此,快照創建非常快,可以瞬間完成。然后,快照副本跟蹤原始卷的數據變化,一旦原始卷數據塊發生首次更新,則先將原始卷數據塊讀出并寫入快照卷,然后用新數據塊覆蓋原始卷。寫時復制,因此而得名。

這種快照技術在創建快照時才建立快照卷,但只需分配相對少量的存儲空間,用于保存快照時間點之后源數據卷中被更新的數據。每個源數據卷都具有一個數據指針表,每條記錄保存著指向對應數據塊的指針。在創建快照時,存儲子系統為源數據卷的指針表建立一個副本,作為快照卷的數據指針表。當快照時間點結束時,快照建立了一個可供上層應用訪問的邏輯副本,快照卷與源數據卷通過各自的指針表共享同一份物理數據。快照創建之后,當源數據卷中某數據將要被更新時,為了保證快照操作的完整性,使用寫時復制技術。對快照卷中數據的訪問,通過查詢數據指針表,根據對應數據塊的指針確定所訪問數據的物理存儲位置。

寫時復制技術確保復制操作發生在更新操作之前,使快照時間點后的數據更新不會出現在快照卷上,保證了快照操作的完整性。寫時復制快照在快照時間點之前,不會占用任何的存儲資源,也不會影響系統性能;而且它在使用上非常靈活,可以在任意時間點為任意數據卷建立快照。在快照時間點產生的“備份窗口”的長度與源數據卷的容量成線性比例,一般為幾秒鐘,對應用影響甚微,但為快照卷分配的存儲空間卻大大減少;復制操作只在源數據卷發生更新時才發生,因此系統開銷非常小。但是由于快照卷僅僅保存了源數據卷被更新的數據,此快照技術無法得到完整的物理副本,碰到需要完整物理副本的應用就無能為力了,而且如果更新的數據數量超過保留空間,快照就將失效。

3、指針重映射

圖3 指針重映射快照

這種實現方式與寫時復制非常相似,區別在于對于原始數據卷的首次寫操作將被重定向到預留的快照空間。該快照維持的是指向所有源數據的指針和拷貝數據。當數據被重寫時,將會給更新過的數據選擇一個新的位置,同時指向該數據的指針也被重新映射,指向更新后的數據。如果拷貝是只讀的,那么指向該數據的指針就根本不會被修改。重定向寫操作提升了快照I/O性能,只需一次寫操作,直接將新數據寫入快照卷,同時更新位圖映射指針;而寫時拷貝需要一次讀和兩次寫操作,即將原始卷數據塊讀入并寫入快照卷,然后將更新數據寫入原始卷。

不難發現,快照卷保存的是原始副本,而原始卷保存的則是快照副本。這導致刪除快照前需要將快照卷中的數據同步至原始卷,而且當創建多個快照后,原始數據的訪問、快照卷和原始卷數據的追蹤以及快照的刪除將變得異常復雜。此外,快照副本依賴于原始副本,原始副本數據集很快變得分散。

4、日志文件架構

這種形式的快照技術利用日志文件來記錄原始數據卷的寫操作。所有針對原始數據卷的寫操作都記錄在日志系統中,相當于每次數據變化均會生成快照。因此,這與數據庫系統事務或文件系統日志非常相似,可以根據需要,從日志恢復數據或者回滾事務到任意合理狀態。嚴格意義講,這種方式不能稱之為快照,但的確能達到快照的目標,不少文件系統實現了這種功能,如ZFS、JFS、EXT3、NTFS等。

5、克隆快照

前面提到的快照,基本上都不會生成完整的快照副本,無法滿足完整物理數據副本的業務需求。克隆快照可生成與源數據卷一致的鏡像快照,它充分利用了寫時拷貝和鏡像分離兩種快照技術的優點。快照時間點時,它先使用寫時拷貝方式快速產生快照副本,然后在后臺啟動一個拷貝進程來執行源數據卷至快照卷的塊級數據拷貝任務。一旦復制完成,就可以通過鏡像分離技術獲得一個克隆快照。克隆快照同樣繼承了鏡像分離快照的缺點,除了需要一個與源數據卷容量相等的快照卷外,還會一定程度上影響存儲系統的整體性能。

6、持續數據保護

以上幾種快照技術均存在共同的不足之處,即不能在任意點創建任意多的快照。日志型快照雖然沒有上述不足,但卻依賴于具體的文件系統,無法直接應用到使用不同文件系統的應用,對于非基于文件系統的數據應用無能為力。

持續數據保護,也稱連續備份,它自動持續捕捉源數據卷數據塊的變化,并連續完整地記錄這些數據塊版本。每一次數據塊變化都會被記錄,生成瞬間快照,這與其他快照技術在快照時間點上創建快照是不同的。因為寫操作都被記錄保存下來,因此能夠動態地訪問任意一個時間點的數據狀態,提供了細粒度的數據恢復,可以實現瞬間和即時的恢復,有效拉近恢復點目標。數據塊級的持續數據保護技術的優點是與應用的藕合比較松,性能和效率比較高,系統連續不間斷運行,不存在快照窗口問題。它的缺點是對存儲空間的要求比較高,這也是限制數據塊級持續數據保護技術廣泛應用的根本原因。

下表從不同角度對以上幾種快照技術進行了分析對比。

結論與展

快照技術是對傳統數據備份與復制技術的重大革新,解決了備份窗口問題,有效拉近了恢復時間目標和恢復時間點目標,成為了事實上的存儲行業標準。

快照技術發明以來,人們進行了大量意義重大的改進。快照窗口不斷縮小,從幾秒到瞬間完成;幾乎可以在任意時刻創建快照,粒度越來越細,數量不斷增大;快照性能大幅提升,對主機、應用的影響降低至微;快照靈活性、可擴展性、可管理性不斷增強。然而,人們對技術的進步要求從來都是沒有止境的。針對當前的各種解決方案,在綜合性能、靈活性、管理性方面,快照技術仍然存在很大的改進空間。存儲廠商不斷推出新的快照存儲產品或新的版本,是最有力的證明。

近年來,存儲技術的發展日新月異,面向對象存儲、固態硬盤、存儲虛擬化、重復數據刪除,新的存儲架構、技術和解決方案不斷涌現。這些可能會對快照技術的變革產生更加深遠的影響,為快照技術的發展創造更加寬廣的空間。我們可以預測,未來快照技術在空間效率、快照對象粒度、虛擬化存儲支持以及性能和用戶體驗方面有長足的進步,在數據復制和備份領域將有更加廣泛的應用前景。

Snapshot.

http://www.snia.org/education/dictionary/s/#snapshot

Pointintimecopy.

http://www.snia.org.cn/dic.php?word=p

AlainAzagIIry,MichaelEFactor,JulianSatran.Point-in-timecopy,Yesterday,TodayandTomorrow.CollegePark,USA:the19thIEEESymposiumonMassStorageSystems.2002:259-270.

Snapshot.

http://www.ibm.com/developerworks/tivoli/library/t-snaptsm1/index.html

袁曉銘,林安.幾種主流快照技術的分析比較.微處理機,2008年第1期.

王樹鵬,云曉春,郭莉.持續數據保護(CDP)技術的發展綜述.信息技術快報,2008年第6卷第6期.

EMCTimeFinder.

http://china.emc.com/products/detail/software/timefinder.htm

EMCTimeFinder.

http://china.emc.com/collateral/software/data-sheet/1700-timefinder.pdf

HDSShadowImage.

http://www.hds.com/cn/products/storage-software/shadowimage-in-system-replication.html

NetAppSnapshot.

http://www.netapp.com/us/products/platform-os/snapshot.html

VeritasSnapshot.

http://eval.symantec.com/mktginfo/enterprise/yellowbooks/using_local_copy_services_03_2006.en-us.pdf

——End——

Tags:NAPSnapshotHOTSHObithotIPI Shorter

SOL
BSV網絡遭受雙花攻擊預警-ODAILY_COIN

根據官網消息,近日BSV網絡遭受惡意攻擊,造成多個區塊重組,攻擊者借此進行了雙花攻擊。知道創宇區塊鏈安全實驗室第一時間跟蹤并預警:針對此次攻擊事件,比特幣協會表示:“已經意識到最近針對比特幣的非.

1900/1/1 0:00:00
【Deribit期權市場播報】0803——謹慎看漲-ODAILY_ENT

收錄于話題 #每日期權播報 播報數據由Greeks.live格致數據實驗室和Deribit官網提供。數字貨幣市場進入全面震蕩調整,大宗看漲期權的巨額成交讓很多人對市場的未來充滿期待.

1900/1/1 0:00:00
Cointelegraph中文聯合KAKA NFT WORLD舉辦“NFT浪潮下的獨立女性”投票活動-ODAILY_COIN

區塊鏈行業一直在努力創造著更多的可能,也為從業者們實現自身價值與理想,提供了一個足夠大的空間。如今,在區塊鏈領域,越來越多的女性加入其中,她們積極投身于行業的建設中,也在過去創造出了顯著的成績.

1900/1/1 0:00:00
波卡與 Web3.0 的淵源-ODAILY_區塊鏈

“波卡知識圖譜”是我們針對波卡從零到一的入門級文章,我們嘗試從波卡最基礎的部分講起,為大家提供全方位了解波卡的內容,當然這是一項巨大的工程,也充滿了挑戰.

1900/1/1 0:00:00
現金流的網絡化-ODAILY_SUPER

DeFi無疑是區塊鏈最有效的應用。我們也花了很大一部分時間思考該方向,并且一直在向構建金融未來的優秀DeFi企業家學習。但是大多數人想到區塊鏈的時候,第一個念頭是「價值轉移」.

1900/1/1 0:00:00
如何規避采用數字資產的加密風險?-ODAILY_加密貨幣

對于同一事物的態度往往取決于當事人所處的立場,波動性也不例外,有人喜歡,也有人討厭。例如,專業交易者與長期投資者對于波動的態度就不一樣.

1900/1/1 0:00:00
ads