大數據環境的加速備份法

大數據環境的加速備份法

在部分影像系統和大數據的環境裡，大量不連續且零碎的非結構化檔案已經是常態。以往 的保存方式幾乎都以檔案伺服器為主，隨著檔案數量愈來愈多，讀取、開啟和掃描檔案的等待時間也會愈來愈長，以我們的經驗為例，某家企業光是讀取完整檔案資訊的作業就花了一星期的時間。

讀取檔案系統和數量的限制，是讓作業時間變長的主因。因此，一般立即見效的解決方案，就是跳過檔案系統層級的備份方式，改採硬碟或儲存設備快照方式來備份。不過，現行檔案系統若是以儲存設備來進行快照，但快照方式需要額外的授權費用和儲存空間，成本相對會比較高。

因此若受限於預算，另一種解決方案則是透過檔案快速掃描的方式，來減少掃描檔案的時間，整體備份時程就能有效縮減。一般來說快速掃描主要是透過軟體的方式於背景建立檔案的索引目錄。舉例來說，假設有五億個檔案，但有異動的只有一百個，舊作法是將五億個檔案全部掃描，透過背景有了索引檔就能只針對異動的一百個檔案，進行備份工作，如此就能降低總體備份時間。

索引檔作法的唯一問題，就是在第一次建立時仍需完整掃描所有檔案，並產出大型的索引檔表格，這必然會增加前端備份主機一部份的效能資源使用。所幸，這種狀況只會發生在第一 次建立索引檔時，即使無法避免，但對後續備份作業的加速大有助益。

目前市面上有很多訴求增量備份或差異備份的技術方案，強調可以只針對新增或異動的檔案做備份，但這些技術方案仍然必須完整掃描所有檔案，才能知道檔案屬性的改變或異動狀況，也就是說，檔案掃描作業太耗時的問題還是無法解決。

簡言之，對於存放在檔案伺服器裡大量不連續的零碎檔案，快照備份是最快速簡單的作法。 若有成本考量，則以索引檔表格的建立和定期更新來解決，但一定要認知到第一次建立索引檔時，一定會對檔案系統的效能和使用造成明顯衝擊的必要之惡。

如果您對我們的方案有興趣，請按此聯繫我們!!