成本和效能影響最小的產線資料保存法

Close
搜尋
banner banner
成本和效能影響最小的產線資料保存法

成本和效能影響最小的產線資料保存法

產線資料目前有 6 億個小檔,資料量共有 60TB,每天持續新增 30GB。公司要求產線資料必須保存兩年,整體資料保存量預估會超過 200TB,但它們有效生命週期不長,未來使用的機會也不多,我們想選擇成本最低的產品方案來解決這個需求。

D E T A I L - I N T R O D U C E
解決方案
img
成本和效能影響最小的
產線資料保存法

針對產線資料的線上保存,多數企業會選擇高速的檔案伺服器,但隨著需求的膨脹,投資成本也會倍增。因此,面對大量資料的第一步就是減量,把即將失效的資料移往更便宜的儲存設備,也就是進行歸檔 (archive)。

 

也就是說,生產線上只留存最新、最即時或最重要的檔案,其餘資料則以歸檔來達到減量的效果。如此一來,產線對於儲存設備的空間擴充需求自然就會降低,無需購置高速又昂貴的儲存設備,絕大部分用於備存或查詢的資料則可移往低速且便宜的儲存媒體,例如:低階儲存設備 (SATA)、磁帶。

 

然而雖然資料減量,但備份作業仍要執行,如此將會產生另外一個層面的問題就是檔案掃描和資料備份,此外還要注意的是備份和歸檔作業的交替進行,必然會影響產線的效能,所以要慎選備份軟體,避免因資料量過多、備份及歸檔時效能衝擊造成線上服務主機受到影想。

 

部分備份軟體在設計時若有考慮到這一點只需要在最開始做一次檔案掃描,建立索引檔,就能接續執行備份和歸檔兩種作業,因此可避免對產線效能的影響。以優化的檔案掃描功能,將減量、備份和歸檔作業整合在同一個工作程序 (Job),因此無論是前端產線或後端系統都能保持優化效能。

 

簡言之,整合是關鍵之所在。從設備面來看,控制線上儲存設備的增購,搭配使用低階的儲存媒體如磁帶;從工具面來看,以一套工具來整合掃描、備份和歸檔作業,取代多套工具的重複投資和額外的整合心力。如此一來,對於長時間大量資料的保存,就能以最低成本的設備和工具來達成目標。

 

如果您對我們的方案有興趣,請按此聯繫我們!!

 

Go top