51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

Hadoop 有哪些调度器?我们该如何选择?

Hadoop 有哪些调度器?我们该如何选择?

hadoop 中常用的调度器有三种:

1)FIFO:(hadoop2.x 之前的默认调度器),它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。

2)计算能力调度器(容量调度器)Capacity schedular:(hadoop2.x 之后的默认调度器)支持多个队列,每个队列可配置一定的资源量,每个队列采用 FIFO 调度策略,为了防止同一个作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源进行限定。调度时,首先按照以下策略选择一个合适队列:计算每个正在运行任务数与其应该分得的计算资源之间的比值,选择一个该比值最小的队列;然后按以下策略选择队列中一个作业,按照作业优先级和提交时间顺序选择,同时考虑用户资源量限制和内存限制。

3)公平调度器 Fair scheduler 同计算能力调度器类似,支持多队列多用户。每个队列的资源量可配置,同一队列中的作业公平共享队列中所有资源

赞(4)
未经允许不得转载:工具盒子 » Hadoop 有哪些调度器?我们该如何选择?