課程簡介

案例背景:
大數(shù)據(jù)時代，數(shù)據(jù)量增量迅速，相應的計算力的提升也就尤為重要，我們再實踐中遇到了以下問題：
1. Container 分布集中，導致單機 IO 過高，影響 Task 處理性能。
2. Task 調(diào)度不均，每個 Container 內(nèi)部調(diào)度的 Task 數(shù)量不等，整體需要按照最大值配置，導致了計算資源的大量浪費。

解決思路:
針對上述問題，YARN 團隊針對實時計算場景也開發(fā)了 GangScheduler，具備 Container 維度更優(yōu)的調(diào)度能力。同時我們也優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費，也便于用戶配置資源。

成果:

經(jīng)過上述優(yōu)化，我們減少了資源浪費，并提升了數(shù)據(jù)處理能力。

目標收益

1. 了解 Flink 內(nèi)部調(diào)度機制
2. 了解調(diào)度對計算力提升的價值
3. 了解一種新的調(diào)度優(yōu)化方案

培訓對象

課程內(nèi)容

案例方向

---

智能數(shù)據(jù)分析/企業(yè)級大數(shù)據(jù)架構演進/流式計算系統(tǒng)設計/數(shù)據(jù)庫的未來

案例背景

---

大數(shù)據(jù)時代，數(shù)據(jù)量增量迅速，相應的計算力的提升也就尤為重要，我們再實踐中遇到了以下問題：
1. Container 分布集中，導致單機 IO 過高，影響 Task 處理性能。
2. Task 調(diào)度不均，每個 Container 內(nèi)部調(diào)度的 Task 數(shù)量不等，整體需要按照最大值配置，導致了計算資源的大量浪費。

收益

---

1. 了解 Flink 內(nèi)部調(diào)度機制
2. 了解調(diào)度對計算力提升的價值
3. 了解一種新的調(diào)度優(yōu)化方案

解決思路

---

針對上述問題，YARN 團隊針對實時計算場景也開發(fā)了 GangScheduler，具備 Container 維度更優(yōu)的調(diào)度能力。同時我們也優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費，也便于用戶配置資源。

結果

---

經(jīng)過上述優(yōu)化，我們減少了資源浪費，并提升了數(shù)據(jù)處理能力。