重復(fù)數(shù)據(jù)刪除技術(shù)的安全性如何

申請(qǐng)免費(fèi)試用、咨詢(xún)電話(huà)：400-8352-114

重復(fù)數(shù)據(jù)刪除技術(shù)的安全性如何1

除非您最近像鴕鳥(niǎo)一樣把頭埋在沙子里，否則您或許會(huì)發(fā)覺(jué)重復(fù)數(shù)據(jù)刪除是個(gè)非常熱門(mén)的話(huà)題。似乎您有所耳聞的每個(gè)存儲(chǔ)供應(yīng)商（還有很多您不知道的公司）都在兜售重復(fù)數(shù)據(jù)刪除技術(shù)，用于降低磁盤(pán)到磁盤(pán)備份的成本。

您或許也曾懷疑重復(fù)數(shù)據(jù)刪除技術(shù)是否安全？在從已刪除重復(fù)數(shù)據(jù)的備份還原數(shù)據(jù)時(shí)，您是否真的可以取回自己的數(shù)據(jù)？

評(píng)估重復(fù)數(shù)據(jù)刪除技術(shù)的相對(duì)安全性可分為兩個(gè)基本部分：

識(shí)別并消除重復(fù)數(shù)據(jù)所用的算法

基礎(chǔ)軟硬件的可靠性

本文中，我將根據(jù)這兩條標(biāo)準(zhǔn)評(píng)估重復(fù)數(shù)據(jù)刪除技術(shù)。此外，我還將講解 NetApp 為增強(qiáng)其重復(fù)數(shù)據(jù)刪除技術(shù)的可靠性所作的選擇。大多數(shù)其他供應(yīng)商提供的重復(fù)數(shù)據(jù)刪除僅用于備份，而我們卻支持用于主存儲(chǔ)和二級(jí)存儲(chǔ)的重復(fù)數(shù)據(jù)刪除，因此我們格外注重?cái)?shù)據(jù)安全性。

識(shí)別重復(fù)數(shù)據(jù)

大多數(shù)現(xiàn)有重復(fù)數(shù)據(jù)刪除產(chǎn)品都是在塊級(jí)操作，即用新塊比較上次存儲(chǔ)的塊，以判斷是否存儲(chǔ)過(guò)相同的塊。如果上次存儲(chǔ)過(guò)相同的塊，則指針將指向這個(gè)存儲(chǔ)的塊，“新”塊將被丟棄。

那么如何判斷兩個(gè)塊是否完全相同？最常用的方法是計(jì)算每個(gè)塊的指紋，即每個(gè)數(shù)據(jù)塊中包含的哈希值。如果兩個(gè)塊有相同的指紋，則通常認(rèn)為它們是相同的。

但是，兩個(gè)不同的數(shù)據(jù)塊也可能具有相同的指紋或哈希值，這種可能性雖然很低，但卻是存在的。我們稱(chēng)之為“哈希沖突”，這將導(dǎo)致唯一的數(shù)據(jù)塊被意外刪除。

正如我們所預(yù)料，降低哈希沖突的可能性必需有更為復(fù)雜的算法，這通常會(huì)耗費(fèi)更多的 CPU 資源來(lái)計(jì)算哈希值，并會(huì)得出較大的輸出值。顯然，可靠性與速度之間存在某個(gè)平衡點(diǎn)。此外，哈希值越長(zhǎng)，指紋存儲(chǔ)所需的空間也越大。

在評(píng)估重復(fù)數(shù)據(jù)刪除技術(shù)時(shí)，您必需清楚供應(yīng)商識(shí)別重復(fù)數(shù)據(jù)的方式，以及所選算法帶來(lái)哈希沖突的風(fēng)險(xiǎn)。很多供應(yīng)商辨稱(chēng)磁盤(pán)故障、磁盤(pán)驅(qū)動(dòng)器或磁帶錯(cuò)誤造成數(shù)據(jù)塊損壞的概率要比哈希沖突的概率高。我不知道這是否只是令人寬慰的想法，但我相信絕大部分人都希望將風(fēng)險(xiǎn)降至最低。

由于 NetApp 支持主存儲(chǔ)和備份存儲(chǔ)的重復(fù)數(shù)據(jù)刪除，因此我們需要采取一種更為積極的方法來(lái)防范哈希沖突。與大多數(shù)其他公司一樣，我們也采用指紋算法，但只用于識(shí)別潛在的重復(fù)數(shù)據(jù)。發(fā)生哈希沖突時(shí)，我們會(huì)首先對(duì)兩個(gè)塊進(jìn)行逐個(gè)字節(jié)的比較，核查它們是否完全相同，然后才會(huì)決定是否廢棄任何塊。NetApp 的技術(shù)總監(jiān) Blake Lewis 在上一篇文章中曾詳細(xì)闡述 NetApp 如何識(shí)別重復(fù)數(shù)據(jù)塊。

基礎(chǔ)軟硬件的可靠性

重復(fù)數(shù)據(jù)刪除技術(shù)的可靠性程度取決于基礎(chǔ)軟硬件有多可靠。事實(shí)上，盡管這一點(diǎn)可能不會(huì)即刻體現(xiàn)，但是對(duì)于實(shí)施重復(fù)數(shù)據(jù)刪除，可靠性確實(shí)變得更為關(guān)鍵。

例如，假設(shè)您按照比較標(biāo)準(zhǔn)的備份日程進(jìn)行每晚的增量備份和每周的完整備份， 現(xiàn)在假設(shè)您在月初創(chuàng)建了一個(gè)文件，之后沒(méi)有做過(guò)任何修改， 按照傳統(tǒng)的備份方式，每周的完整備份都會(huì)產(chǎn)生一個(gè)副本，因此在月底這個(gè)文件將會(huì)有四個(gè)副本。如果您需要將文件還原至該點(diǎn)，則即使備份介質(zhì)不可靠，您也可以至少恢復(fù)四個(gè)副本中的一個(gè)。

但是如果在此情景中加入重復(fù)數(shù)據(jù)刪除，月底時(shí)，您只會(huì)有該文件的一個(gè)物理副本，外加三組指向相同文件塊的指針。通過(guò)這個(gè)簡(jiǎn)單的例子，您或許認(rèn)識(shí)到必須確保經(jīng)過(guò)重復(fù)數(shù)據(jù)刪除處理的備份一直可靠地存儲(chǔ)在彈性硬件上，并具有很好的 RAID 保護(hù)。在這一年中，您可能會(huì)有數(shù)百個(gè)實(shí)際上引用著大多數(shù)相同數(shù)據(jù)塊的備份。

見(jiàn)上圖，一個(gè)未更改的相同文件在四周內(nèi)的完整備份。如果沒(méi)有做重復(fù)數(shù)據(jù)刪除，同一文件會(huì)有四個(gè)分散的副本。通過(guò)重復(fù)數(shù)據(jù)刪除，您只會(huì)擁有一個(gè)副本。這樣可獲得大量的空間節(jié)省，但同時(shí)這個(gè)唯一副本的可靠保存也變得更為關(guān)鍵。

市場(chǎng)上重復(fù)數(shù)據(jù)刪除方面的產(chǎn)品多種多樣。有些只有軟件并可能用到多種基礎(chǔ)硬件；有些包括軟硬件（通過(guò)許可或 OEM 協(xié)議，從多種來(lái)源獲得）。在做出決定之前，您應(yīng)評(píng)估軟件成熟度、基礎(chǔ)硬件的可靠性以及兩者的集成情況。