專家傳真-大量資料流淌不歇 考驗資料管理效能

資料洪流管理不易,大量資料的存取及傳輸更是困難重重,全球僅有33%的企業資料獲得運用,臺灣的比率更低,只有30%。圖/pixabay

企業資料量近年來以指數級飆速成長。Seagate Technology的Rethink Data報告中指出,今年臺灣企業資料量的平均增幅預計爲36%,全球更將達42%。不斷增加的物聯網(IoT)裝置中,以攝影機爲大宗,以及包括公共事業智慧電錶和醫療設備管理系統在內的自動化機器對機器(M2M)通訊,都是推動資料量成長的主要因素。此增長趨勢與智慧城市計劃尤爲息息相關,大幅推升了各地強化資料分析基礎設施及智慧交通運輸系統的需求。

IDC預測,2025年全球資料總量將達180ZB,遠遠超過2020年的64ZB。儘管這些資料蘊藏龐大的價值與可觀的潛力,但在駕馭資料推動創新之前,企業必須先克服諸多挑戰。確實,存取資料的過程容易讓人覺得吃力不討好,苦不堪言。在這種情況下,全球僅有33%的企業資料獲得運用——臺灣的比率更低,只有30%。究其原因,正是因爲資料洪流的管理不易,大量資料的存取及傳輸更是困難重重。

然而,若能成功跨越資料湖(data lake)的成本及複雜度障礙,企業便可坐擁價值日增的寶貴資產,徹底擺脫繁雜又燒錢的資料無底洞。

從資料汲取更多價值:不論在哪個產業,企業現在最須關注的兩大問題爲:如何在分散的世界裡萃取出更高的資料價值?哪種儲存策略有助於降低移動大量資料集的阻礙?

十年前,企業還在討論該把資料放在公有云或私有云內。然而,現今的狀況遠比當年更形微妙紛雜。今日的資料會流經端點裝置、邊緣和雲端系統,且資料移動的速度及資料量的迅猛漲勢也不容忽視。根據Seagate Technology的《Mass Data on the Go》報告,當前的資料儲存策略偏向多雲和混合雲的模式,此類模式有利於最佳化資料的儲存位置,以及資料分佈、存取和使用的方式。

有效的資料策略不可或缺:儘管世界各地的企業普遍已建立、或正擘劃明確的數位轉型策略和成熟的服務能力,但仍然面臨同樣的資料困境——網路容量的增速跟不上資料成長的幅度。《Mass Data on the Go》報告亦直言,除了網路頻寬和容量的限制之外,有限的光纖網路存取、隱藏的儲存成本、資料安全和相符性問題、儲存容量限制,亦阻滯了資料的有效移動。

那麼,哪一種儲存策略纔是解方?當前,在邊緣產生的資料尤爲活絡,也就是說,十年前的「資料儲存於本地端或雲端」的二選一問題已過於簡化。雖然目前仍有高達47%的企業採用集中式的雲端儲存架構,但這比例在短短兩年後將下滑到22%。相反的,在這兩年間,採用結合集中與邊緣之混合式儲存架構的企業比例則將從25%上升至47%。

企業資料的下一步:對企業來說,資料儲存的下一步應會轉向「儲存即服務」(storage-as-a-service) 模式的方向前進,在不取代現有儲存服務的情況下,適足地予以補強,相輔相成。雲端儲存即服務方案可提供世界級的物件儲存(object storage) 平臺,提供資料一個永久、經濟實惠的存放之處,同時還能啓用資料來支援各種應用程式的運作,並透過高速骨幹網路瞬即流向邊緣位置。

在資料中心的層級,高密度的自我修復高效儲存系統則能簡化大規模資料的儲存管理,並減少邊緣和資料中心環境的人爲干預。藉由進階分散式自主保護技術(Advanced Distributed Autonomic Protection Technology;ADAPT)和自動硬碟機再生技術(Autonomous Drive Regeneration;ADR),下一代智慧儲存方案還可達成自動化維護、資料保護、快速重建和電子廢物減量,提供最高資料密度與安全性,且不會在控制器層級產生額外的負擔。

企業資料的洪流滔滔,疲勢未顯,其影響遍及所有組織和企業。所幸,資料儲存與管理工具已有長足進展。今日的企業不再受制於資料集的大小,而能靈活運用儲存即服務、移動大量資料的硬體裝置和自我修復儲存系統等不同選項,將最適當的方案應用在最適合的資料集上,從而擷取出最高的資料價值。