BENEVO台灣部落格 之 科技應用。創新與分享

在雲端運算浪潮之下，伺服器、儲存、網路設備共通的發展趨勢為虛擬化技術，透過虛擬化技術可提升硬體設備的穩定性和規模可擴展性，目前虛擬化比率約占20%，預計2011年占比約達40%，2012將達到50%。資策會產業情報研究所（MIC）預估，全球雲端運算市場規模，將從2009年的123億美元成長至2014年的420億美元，複合年成長率為27.7%，成長幅度是傳統資訊服務市場的五倍。在另一方面，隨著雲端運算的發展，記憶體的需求數量將持續增加，在資源有限的情況之下，虛擬化技術將更加受到重視。

Cloudera是一家提供以Apache Hadoop為基礎的雲端運算解決方案的公司，Hadoop是一個專門用來處理PT等級資料的分散式軟體平台架構，開放原始碼（Open Source）、具延展性與容錯能力皆為其特色，即便是一般等級的電腦，也可作為資料儲存與處理的節點，大幅降低硬體成本。

跟以前相比，現今的企業或網站收集或產生更大量的資料，舊有的軟硬體架構難以應付此種巨量資料，而Hadoop就是被設計用來解決此種巨量資料的解決方案。

Hadoop主要包含兩部分：

1. Hadoop Drstributed File System（HDFS)：將要儲存的資料切成好幾份，並將其重複儲存在不同節點，確保即使單一節點故障，資料也不至於遺失
2. MapReduce：將不同節點的資料分別處理後，再組合成最後的結果，利用平行處理達到高效能的目的

Cloudera將Hadoop的各種軟體元件組合成一個套件，提供給客戶易用介面與最佳化的諮詢服務，大大降低了一般企業使用Hadoop架構的門檻。