HDFS的優(yōu)缺點,HDFS(Hadoop Distributed File System)是Hadoop項目的核心子項目,是分布式計算中數(shù)據(jù)存儲管理的基礎,是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的,可以運行于廉價的商用服務器上。
它所具有的高容錯性、高可靠性、高可擴展性、高獲得性、高吞吐率等特征為海量數(shù)據(jù)提供了不怕故障的存儲,為超大數(shù)據(jù)集(Large Data Set)的應用處理帶來了很多便利。1.HDFS優(yōu)點
(1)高容錯性:數(shù)據(jù)自動保存多個副本,副本丟失后,自動恢復,保證可靠性的同時也加快了處理速度,A結點負載高,可讀取B結點。
(2)適合批處理:移動計算而非數(shù)據(jù),數(shù)據(jù)位置暴露給計算框架。
(3)可構建在廉價機器上:通過多副本提高可靠性,提供容錯和恢復機制。
2.HDFS缺點
(1)低延遲數(shù)據(jù)訪問:例如,訂單是否適合存儲在HDFS中,要求數(shù)據(jù)毫秒級就要查出來。
(2)小文件存?。翰贿m合大量的小文件存儲,如果真有這種需求的話,要對小文件進行壓縮。
(3)并發(fā)寫入、文件隨機修改:不適合修改,實際中網(wǎng)盤、云盤內(nèi)容是不允許修改的,只能刪了重新上傳,它們都是Hadoop實現(xiàn)的。