1.yarn有哪些調(diào)度
FIFO:單隊(duì)列 先進(jìn)先出 小任務(wù)易阻塞
CAPACITY:多隊(duì)列 各隊(duì)列資源固定 小任務(wù)可同時(shí)運(yùn)行,可彈性使用資源
每個(gè)隊(duì)列都可以設(shè)置最大值,不設(shè)置的話可用到整個(gè)父隊(duì)列的資源最大值(正好有空閑時(shí));
FAIR:多隊(duì)列 各隊(duì)列資源\動(dòng)態(tài)搶占** 小任務(wù)可同時(shí)運(yùn)行
隊(duì)列創(chuàng)建時(shí):除非隊(duì)列被準(zhǔn)確的定義,否則會(huì)以用戶名為隊(duì)列名創(chuàng)建隊(duì)列
搶占就是允許調(diào)度器殺掉占用超過(guò)其應(yīng)占份額資源隊(duì)列的containers,這些containers資源便可被分配到應(yīng)該享有這些份額資源的隊(duì)列中。
默認(rèn)調(diào)度器
Apache 開源:CAPACITY
CDH版本:FAIR
2.常用命令
yarn logs -applicationId application15391986545221073695 |more
2.1查看 Job 信息:
hadoop job -list
2.2殺掉 Job:
hadoop job –kill job_id
hadoop job –status job_id
更多關(guān)于大數(shù)據(jù)培訓(xùn)的問(wèn)題,歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓(xùn)服務(wù)經(jīng)驗(yàn),采用全程面授高品質(zhì)、高體驗(yàn)培養(yǎng)模式,擁有國(guó)內(nèi)一體化教學(xué)管理及學(xué)員服務(wù),助力更多學(xué)員實(shí)現(xiàn)高薪夢(mèng)想。