千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)
關(guān)注千鋒學(xué)習(xí)站小程序
隨時(shí)隨地免費(fèi)學(xué)習(xí)課程
在千鋒大數(shù)據(jù)培訓(xùn)第二階段的學(xué)習(xí)剛剛結(jié)束,讓我感覺(jué)到時(shí)間總是像從指尖流過(guò)的細(xì)沙,在不經(jīng)意間悄然滑落。那些往日的憂(yōu)愁和悲傷,在似水流年的蕩滌下隨波輕輕地逝去,而留下的歡樂(lè)和笑靨就在記憶深處歷久彌新,而對(duì)于編程技術(shù)的學(xué)習(xí),我想更多的還是需要去總結(jié),才能更好的進(jìn)步。
在千鋒大數(shù)據(jù)培訓(xùn)第二階段的學(xué)習(xí),第一部分就是HDFS文件存儲(chǔ)系統(tǒng)。就像我們操作系統(tǒng)的任意一種存儲(chǔ)系統(tǒng)一樣,這個(gè)模塊決定了文件存在哪里,怎么存取。只不過(guò)他被hadoop集成使用。
主要的進(jìn)程有三個(gè):NameNode 、DataNode 、Secondary、Name這三個(gè)類(lèi),是有main函數(shù)的;第二部分就是計(jì)算框架mapreduce,同hadoop1.x里的實(shí)現(xiàn)基本一致;第三部分是調(diào)度框架yarn。yarn的作用是什么?調(diào)度!這個(gè)詞是精髓,調(diào)度資源,調(diào)度任務(wù)。主要進(jìn)程:resourceManager ApplicationMaster,NodeManager這三個(gè)類(lèi),也是有main函數(shù)的。resourceManager 接到客戶(hù)端提交的任務(wù),會(huì)申請(qǐng)資源(container),本質(zhì)是在集群中的一臺(tái)機(jī)器上,與其上的NodeManager協(xié)調(diào),在資源上啟動(dòng)ApplicationMaster。然后把job的控制權(quán)交給ApplicationMaster。后者接管后,根據(jù)任務(wù)的描述信息,去向resourceManager 申請(qǐng)運(yùn)行task的資源。根據(jù)resourceManager 的回饋(資源可用情況描述),與可用的節(jié)點(diǎn)(NodeManager)協(xié)調(diào),啟動(dòng)task任務(wù)。task任務(wù)啟動(dòng),那么就使用計(jì)算框架內(nèi)容執(zhí)行具體的計(jì)算了,而hdfs文件讀取,貫穿于整個(gè)job執(zhí)行階段,這些是第二階段總結(jié)。
或許你對(duì)以上的總結(jié)沒(méi)有特別清晰的理解,但要知道的就是學(xué)習(xí)編程技術(shù)一定是給自己學(xué)的,而不是應(yīng)付學(xué)習(xí),最重要的就是要擺正學(xué)習(xí)態(tài)度,才會(huì)有進(jìn)步的空間和提升。
相關(guān)文章
了解千鋒動(dòng)態(tài)
關(guān)注千鋒教育服務(wù)號(hào)
掃一掃快速進(jìn)入
千鋒移動(dòng)端頁(yè)面
掃碼匿名提建議
直達(dá)CEO信箱