白金会官方手机版注册
  咨询电话:15891549687

白金会官方线路客服

yarn的介绍

首先我们先了解一下hadoop1.0版本和hadoop2.0版本的区别。

在hadoop1.0中只有两个模块 hdfs  和  mapReduce

  hdfs负责存储

  mapReduce 负责计算

 

在hadoop1.0中 所有计算相关的 全部放到了mapReduce上

    mapReduce在运行的时候有两个进程 jobtracker 和 tasktracker

      jobtracker:是整个计算程序的主节点(老大)

             负责进行资源调度(没有资源调度策略,随机调度)

             还负责监控程序运行的状态,对运行失败的应用程序进行重启

             存在单点故障问题,不支持高可用,如果jobtracker宕机了,整个程序就运行不了了

      tasktracker:负责计算程序的执行

            会强行的将计算资源分成两部分  mapslot 和 reduceslot, map任务只能运行在mapslot中,reduce任务只能运行在reduceslot中,当一个应用程序只需要运行map任务

          不需要运行reduce任务的时候,就会造成资源浪费。

            而且这一部分资源没有划分CPU、IO或者网络

所以hadoop1.0中存在着致命的缺陷

  1)单点故障问题

  2)所有的资源调度是随机的,会造成资源浪费

  3)jobtracker的运行压力过大

 

 

 

hadoop2.0进行了改进,将maperduce分成了两部分mapreduce和yarn

  yarn专门负责程序的资源调度

  yarn的概念:

    yarn再启动的时候会有两个进程

      resourcemanager:整个资源调度的老大

        1)负责接收客户端的请求 这个请求时程序运行的请求

        2)接受nodemanager的状态报告,这个状态报告包括nodenamager的资源状态和存活状态

        3)负责整个计算程序的资源调度   调度的运行资源的多少 和  在哪个节点上运行

      nodemanager:负责真正的提供资源  运行计算程序

        1)接收resourcemanager的命令

        2)提供资源运行计算程序

 

  yarn启动计算及资源调度概念:    MRAppMaster:单个计算程序的老大   负责帮助当前计算程序向resourcemanager申请资源,            负责启动maptask任务和reducetask任务 负责监控maptask和reducetask的运行进度            类似于项目经理

    ASM:applicationsmanager 所有应用程序的管理者  负责调度应用程序

    container:抽象资源容器 封装着一定的cpu io 和网络等资源

    是运行maptask reducetask等的运行资源单位

    1个split对应一个1个maptask  1个maptask分配1个container     1个container在进程中显示的就是1个yarnchild

    scheduler:调度器  调度的是什么时候执行哪个计算程序       调度器:        1)FIFO:first in first out 先进先出        先提交的程序先执行 后提交的程序后执行        内部维护一个队列

        2)FAIR:公平调度器:

        大家平分资源运行

        假设刚开始只有一个任务 占资源100%

        这时候又来了一个任务 每人占50%

        内部维护一个队列

 

        3)CAPICITY:计算能力调度器:

        可以按需进行配置使用资源:

        内部可以维护多个队列,多个队列之间可以进行资源分配

        在每个队列中都是执行先进先出的