發布時間: 2021-08-26 16:59:37
hadoop有什么用?Hadoop是Apache旗下一個開源框架,用來開發與運行分布式應用程序來處理海量數據(大型數據集)。
大數據處理需要解決的關鍵性問題,包括數據采集與數據管理、分布式存儲和并行計算、大數據應用開發、數據分析與挖掘、大數據前端應用、數據服務和展現等,而這些問題在Hadoop框架下,基本都能夠有相應的解決方案。

Hadoop以分布式文件系統HDFS(Hadoop distributed file system)和Map Reduce分布式計算框架為核心,為用戶提供了底層細節透明的分布式基礎設施。
HDFS的高容錯性、高伸縮性等優點,允許用戶將Hadoop部署在廉價的硬件上,構建分布式文件存儲系統。
Map Reduce分布式計算框架則允許用戶在不了解分布式系統底層細節的情況下開發并行、分布式的應用程序,充分利用大規模的計算資源,解決傳統高性能單機無法解決的大數據處理問題。
總之,Hadoop是目前分析海量數據的首選工具。
Hadoop的優勢
Hadoop框架允許用戶快速編寫和測試分布式系統。該框架是高效的,在計算機之間自動分布數據和工作,利用CPU內核的底層并行機制。
Hadoop不依賴于硬件來提供容錯和高可用性(FTHA),相反,Hadoop庫本身的設計就是用于在應用層級探測和處理故障的發生。能夠動態地向集群添加服務器、或者從集群中刪除服務器,Hadoop持續運行狀態不會被打斷。
Hadoop另一個大優勢是,除了開源之外,由于是基于Java技術研發的,所以對于所有平臺都兼容。
上一篇: hadoop需要什么基礎
下一篇: hadoop是什么