一、介紹

yarn是一種通用的資源管理系統(tǒng)和調(diào)度平臺(tái)。 

資源管理系統(tǒng) ：管理集群內(nèi)的硬件資源，和程序運(yùn)行相關(guān)，比如內(nèi)存，CPU等。 

調(diào)度平臺(tái)：多個(gè)程序同時(shí)申請(qǐng)計(jì)算資源時(shí)提供分配，調(diào)度的規(guī)則（算法）。 

通用：不僅僅支持MapReduce程序，理論上支持各種計(jì)算程序如spark，flink。yarn不關(guān)系程序的計(jì)算內(nèi)容，只關(guān)心程序所需的資源，在程序申請(qǐng)資源的時(shí)候根據(jù)調(diào)度算法分配資源，計(jì)算結(jié)束之后回收計(jì)算資源。使用yarn作為資源調(diào)度平臺(tái)的計(jì)算框架自身需要提供ApplicationMaster來(lái)負(fù)責(zé)計(jì)算任務(wù)的調(diào)度。

二、yarn 框架

Yarn是主從式設(shè)計(jì)，主節(jié)點(diǎn)為ResourceManager，從節(jié)點(diǎn)NodeManager。

架構(gòu)圖：

ApplicationMaster也是yarn中不可缺失的一部分，但是其由具體的計(jì)算框架來(lái)提供，相當(dāng)于Yarn只提供了一個(gè)需要實(shí)現(xiàn)的接口。

三、ResourceManager

ResourceManager全局資源管理器由兩部分組成，分別為Scheduler 和 ApplicationsManager。

3.1，ApplicationsManager

主要的負(fù)責(zé)接收client端傳輸?shù)膉ob請(qǐng)求，為應(yīng)用（如 mapreduce程序）分配第一個(gè)Container（資源池）來(lái)運(yùn)行我們的ApplicationsMaster；

負(fù)責(zé)監(jiān)控ApplicationMaster，并且在遇到失敗的時(shí)候重啟ApplicationMaster。

3.2，Scheduler

調(diào)度器負(fù)責(zé)將資源分配給各種正在運(yùn)行的應(yīng)用程序，這些應(yīng)用程序受到容量、隊(duì)列等常見(jiàn)的限制。

調(diào)度器是純粹的調(diào)度器，它不監(jiān)視或跟蹤應(yīng)用程序的狀態(tài)。

此外，它也不能保證重啟失敗的應(yīng)用程（由ApplicationManager負(fù)責(zé)）。

調(diào)度器根據(jù)應(yīng)用程序的資源需求執(zhí)行其調(diào)度功能；它是基于Container的抽象概念來(lái)實(shí)現(xiàn)資源調(diào)度的，Scheduler通過(guò)給任務(wù)分配Container的方式來(lái)分配資源。

調(diào)度器是可插拔的，常用的調(diào)度器有CapacityScheduler和FairScheduler。

四、NodeManager

NodeManager節(jié)點(diǎn)資源管理器，是每臺(tái)機(jī)器的框架客戶端/代理，負(fù)責(zé)Container容器管理，監(jiān)控他們的資源使用，并匯報(bào)給ResourceManager/Scheduler。

Container：

NodeManager將節(jié)點(diǎn)中的資源切分出來(lái)組成一個(gè)個(gè)可以單獨(dú)運(yùn)行任務(wù)（map，reduce）的Container容器，用來(lái)運(yùn)行任務(wù)。容器中資源目前只支內(nèi)存、cpu。

一個(gè)Container類似于開(kāi)辟了一個(gè)虛擬機(jī)，一個(gè)NodeManager中可以分配一個(gè)或者多個(gè)Container。

Container底層使用了輕量級(jí)資源隔離機(jī)制Cgroups進(jìn)行資源隔離（docker底層好像也是使用了Cgroups）。 

Container是Yarn集群分配資源的基本單位。

五、ApplicationMaster

ApplicationMaster運(yùn)行在NodeManager的Container中，并且是應(yīng)用程序申請(qǐng)到的第一個(gè)Container。

它負(fù)責(zé)一個(gè)應(yīng)用程序中具體任務(wù)的執(zhí)行，比如mapreduce應(yīng)用的map任務(wù)，reduce任務(wù)，每一個(gè)應(yīng)用都有一個(gè)ApplicationMaster，它受ApplicationsManager管理，ApplicationMaster進(jìn)程如果非正常死亡，ApplicationsManager可以重啟它。

主要功能：

1，與ResourceManager中的Scheduler 協(xié)商獲取執(zhí)行資源。

2，與NodeManager通訊以啟動(dòng)，停止任務(wù)

3，監(jiān)控所屬的任務(wù)的執(zhí)行。

六、客戶端提交任務(wù)到y(tǒng)arn中運(yùn)行的流程。

步驟說(shuō)明：

1，客戶端向ResourceManager中的ApplicationManager提交作業(yè)申請(qǐng)，申請(qǐng)jobID。

2，ApplicationManager 返回一個(gè)jobID，以及運(yùn)行的hdfs臨時(shí)路徑(hdfs://… jobID)。

3，客戶端將作業(yè)的jar包，配置信息等上傳到分配的hdfs臨時(shí)路徑(hdfs://… jobID)中。

4，客戶端上傳文件成功后，向ApplicationManager發(fā)送執(zhí)行作業(yè)請(qǐng)求。

5，ApplicationManager將請(qǐng)求轉(zhuǎn)發(fā)給Scheduler，申請(qǐng)執(zhí)行所需資源。

6，調(diào)度器將作業(yè)放置到相關(guān)隊(duì)列中，當(dāng)執(zhí)行到該作業(yè)時(shí)，開(kāi)始讓ApplicationManager分配Containers。

7，ApplicationManager命令NodeManager使用分配的container資源啟動(dòng)ApplicationMaster。

8，ApplicationMaster啟動(dòng)后去分配的hdfs臨時(shí)路徑(hdfs://… jobID)中讀取作業(yè)的具體信息，根據(jù)分片信息創(chuàng)建map任務(wù)，reduce任務(wù)。

9，ApplicationMaster向Scheduler請(qǐng)求資源來(lái)執(zhí)行map任務(wù)，reduce任務(wù)。

10，Scheduler返回申請(qǐng)結(jié)果。

11，AppMaster通知NodeManager，啟動(dòng)map，reduce任務(wù)。

12，NodeManager啟動(dòng)map，reduce任務(wù)。

13，map，reduce任務(wù)讀取數(shù)據(jù)，進(jìn)行邏輯計(jì)算。計(jì)算過(guò)程中如果有map，reduce任務(wù)執(zhí)行失敗了，AppMaster負(fù)責(zé)重啟任務(wù)。

14，程序執(zhí)行成功后，AppMaster向Scheduler發(fā)送請(qǐng)求，釋放資源。

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論