課程簡介

案例背景:
大數(shù)據(jù)時代，業(yè)務(wù)對數(shù)據(jù)處理的實時性要求越來越高，例如異常檢測，指標大盤等，由此流式計算變得越來越重要。在字節(jié)的 Flink 使用場景中，調(diào)度是非常重要的一個步驟，主要分為兩個模塊資源調(diào)度和Task 調(diào)度。
在資源調(diào)度方面，希望 container 分布均勻，避免造成單機負載過高；同時希望分配后機器 quota 均衡避免碎片。還有就是調(diào)度時盡可能避開高 load 節(jié)點。
在 Task 調(diào)度方面，希望更均衡的調(diào)度 Task，減少 TaskManager 間資源需求差異，減少資源浪費；其次在大規(guī)模集群下單機故障是不可避免的，我們需要黑名單機制來提升 Flink 的穩(wěn)定性。

解決思路:
針對上述問題，我們優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費，也便于用戶配置資源。我們也提供了多維度黑名單機制，解決作業(yè)再單機故障下不能自動恢復(fù)的問題。
同時 YARN 團隊也針對實時計算場景支持了“container 打散”、“節(jié)點 quota 均衡”、“高 load 節(jié)點跳過”等調(diào)度謂詞。

成果：
經(jīng)過上述優(yōu)化，我們減少了資源浪費，提升了穩(wěn)定性及易用性。

目標收益

1. Flink 內(nèi)部調(diào)度機制及優(yōu)化
2. Flink 在超大規(guī)模下的優(yōu)化

培訓(xùn)對象

課程內(nèi)容

案例方向

---

智能數(shù)據(jù)分析/企業(yè)級大數(shù)據(jù)架構(gòu)演進/流式計算系統(tǒng)設(shè)計/數(shù)據(jù)庫的未來

案例背景

---

大數(shù)據(jù)時代，業(yè)務(wù)對數(shù)據(jù)處理的實時性要求越來越高，例如異常檢測，指標大盤等，由此流式計算變得越來越重要。在字節(jié)的 Flink 使用場景中，調(diào)度是非常重要的一個步驟，主要分為兩個模塊資源調(diào)度和Task 調(diào)度。
在資源調(diào)度方面，希望 container 分布均勻，避免造成單機負載過高；同時希望分配后機器 quota 均衡避免碎片。還有就是調(diào)度時盡可能避開高 load 節(jié)點。
在 Task 調(diào)度方面，希望更均衡的調(diào)度 Task，減少 TaskManager 間資源需求差異，減少資源浪費；其次在大規(guī)模集群下單機故障是不可避免的，我們需要黑名單機制來提升 Flink 的穩(wěn)定性。

收益

---

1. Flink 內(nèi)部調(diào)度機制及優(yōu)化
2. Flink 在超大規(guī)模下的優(yōu)化

解決思路

---

針對上述問題，我們優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費，也便于用戶配置資源。我們也提供了多維度黑名單機制，解決作業(yè)再單機故障下不能自動恢復(fù)的問題。
同時 YARN 團隊也針對實時計算場景支持了“container 打散”、“節(jié)點 quota 均衡”、“高 load 節(jié)點跳過”等調(diào)度謂詞。

結(jié)果

---

經(jīng)過上述優(yōu)化，我們減少了資源浪費，提升了穩(wěn)定性及易用性。