Flink on Yarn 調(diào)度均衡優(yōu)化

案例背景:
大數(shù)據(jù)時(shí)代，數(shù)據(jù)量增量迅速，相應(yīng)的計(jì)算力的提升也就尤為重要，我們?cè)賹?shí)踐中遇到了以下問題：
1. Container 分布集中，導(dǎo)致單機(jī) IO 過高，影響 Task 處理性能。
2. Task 調(diào)度不均，每個(gè) Container 內(nèi)部調(diào)度的 Task 數(shù)量不等，整體需要按照最大值配置，導(dǎo)致了計(jì)算資源的大量浪費(fèi)。

解決思路:
針對(duì)上述問題，YARN 團(tuán)隊(duì)針對(duì)實(shí)時(shí)計(jì)算場景也開發(fā)了 GangScheduler，具備 Container 維度更優(yōu)的調(diào)度能力。同時(shí)我們也優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費(fèi)，也便于用戶配置資源。

成果:

經(jīng)過上述優(yōu)化，我們減少了資源浪費(fèi)，并提升了數(shù)據(jù)處理能力。