課程簡(jiǎn)介

案例背景:
數(shù)據(jù)中臺(tái)的核心在于數(shù)據(jù)模型的復(fù)用，打破原有的煙囪式的開(kāi)發(fā)模式，通過(guò)抽象公共數(shù)據(jù)層，將數(shù)據(jù)以服務(wù)化的方式在不同的數(shù)據(jù)產(chǎn)品之間進(jìn)行共享。所以在數(shù)據(jù)中臺(tái)的模式下，大數(shù)據(jù)任務(wù)之間存在高度復(fù)雜的依賴(lài)關(guān)系，就像一張大網(wǎng)，一個(gè)任務(wù)異常，可能會(huì)導(dǎo)致下游很多模型和指標(biāo)，這就對(duì)大數(shù)據(jù)任務(wù)的研發(fā)和運(yùn)維管理帶來(lái)諸多挑戰(zhàn)：

1. 如何選擇一個(gè)成熟的開(kāi)源調(diào)度系統(tǒng)，支撐數(shù)據(jù)中臺(tái)的海量任務(wù)調(diào)度？
2. 如何實(shí)現(xiàn)海量任務(wù)的精細(xì)化運(yùn)維和管理
3. 如何保障質(zhì)量的前提下，實(shí)現(xiàn)研發(fā)效率的最大化
4. 如何在資源隔離的前提下，實(shí)現(xiàn)高效的數(shù)據(jù)測(cè)試？

解決思路:
本次分享，將結(jié)合網(wǎng)易在數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程中遇到的真實(shí)案例，為大家介紹網(wǎng)易在海量任務(wù)高效研發(fā)和運(yùn)維管理方面的實(shí)踐。網(wǎng)易任務(wù)調(diào)度系統(tǒng)基于開(kāi)源azkaban項(xiàng)目進(jìn)行深度改造，包括：新增“跨流依賴(lài)”、“并發(fā)鏈?zhǔn)窖a(bǔ)數(shù)據(jù)”、“節(jié)點(diǎn)前后置動(dòng)作”、“公共資源”等特性；同時(shí)針對(duì) Azkaban 服務(wù)在運(yùn)維能力的不足，實(shí)現(xiàn)了“高可用”、“平滑升級(jí)”?；?Azkaban之上，我們搭建了智能任務(wù)運(yùn)維中心系統(tǒng)，提供了基線(xiàn)預(yù)警、任務(wù)智能診斷、全鏈路影響分析、關(guān)鍵鏈路分析、凍結(jié)池、加速器等特性，保障了數(shù)據(jù)中臺(tái)每天能夠按時(shí)、正確的產(chǎn)出數(shù)據(jù)。同時(shí)，網(wǎng)易還在大數(shù)據(jù)研發(fā)領(lǐng)域，構(gòu)建了數(shù)據(jù)測(cè)試中心，實(shí)現(xiàn)了大數(shù)據(jù)研發(fā)的CI/CD devops pipleline，在數(shù)據(jù)研發(fā)效率和質(zhì)量方面做了最佳實(shí)踐探索。


成果：
1. 網(wǎng)易Azkaban 每日有20W的任務(wù)調(diào)度，有1W多任務(wù)依賴(lài)關(guān)系。
2. 任務(wù)運(yùn)維中心，幫助嚴(yán)選構(gòu)建了基于基線(xiàn)的任務(wù)管理模式，基于基線(xiàn)預(yù)警的能力，實(shí)現(xiàn)了8W任務(wù)的精細(xì)化管理，任務(wù)完成率達(dá)到了96.14%，首次實(shí)現(xiàn)了S級(jí)大促數(shù)據(jù)零延遲。
3. 通過(guò)構(gòu)建CI/CD Devops pipleline， 同時(shí)數(shù)據(jù)質(zhì)量的問(wèn)題下降了60%。
4. 通過(guò)數(shù)據(jù)沙箱的構(gòu)建，在物理集群完全隔離的前提下，實(shí)現(xiàn)了一套代碼，透明發(fā)布，任務(wù)發(fā)布效率提升300%。

目標(biāo)收益

1. 對(duì)大數(shù)據(jù)海量任務(wù)調(diào)度系統(tǒng)的架構(gòu)設(shè)計(jì)，關(guān)鍵技術(shù)實(shí)現(xiàn)，技術(shù)選型有深入的理解。
2. 對(duì)數(shù)據(jù)中臺(tái)模式下，大量任務(wù)高度依賴(lài)，如何管理這些任務(wù)，確保任務(wù)正確、按時(shí)產(chǎn)出，提供了新的思路。
3. 對(duì)如何保障質(zhì)量的前提下，如何實(shí)現(xiàn)敏捷的大數(shù)據(jù)開(kāi)發(fā)，打造CI/CD Pilpleline有深入的掌握。

培訓(xùn)對(duì)象

課程內(nèi)容

案例方向

---

數(shù)據(jù)湖/數(shù)據(jù)中臺(tái)/用戶(hù)畫(huà)像/NLP

案例背景

---

數(shù)據(jù)中臺(tái)的核心在于數(shù)據(jù)模型的復(fù)用，打破原有的煙囪式的開(kāi)發(fā)模式，通過(guò)抽象公共數(shù)據(jù)層，將數(shù)據(jù)以服務(wù)化的方式在不同的數(shù)據(jù)產(chǎn)品之間進(jìn)行共享。所以在數(shù)據(jù)中臺(tái)的模式下，大數(shù)據(jù)任務(wù)之間存在高度復(fù)雜的依賴(lài)關(guān)系，就像一張大網(wǎng)，一個(gè)任務(wù)異常，可能會(huì)導(dǎo)致下游很多模型和指標(biāo)，這就對(duì)大數(shù)據(jù)任務(wù)的研發(fā)和運(yùn)維管理帶來(lái)諸多挑戰(zhàn)：

1. 如何選擇一個(gè)成熟的開(kāi)源調(diào)度系統(tǒng)，支撐數(shù)據(jù)中臺(tái)的海量任務(wù)調(diào)度？
2. 如何實(shí)現(xiàn)海量任務(wù)的精細(xì)化運(yùn)維和管理
3. 如何保障質(zhì)量的前提下，實(shí)現(xiàn)研發(fā)效率的最大化
4. 如何在資源隔離的前提下，實(shí)現(xiàn)高效的數(shù)據(jù)測(cè)試？

收益

---

1. 對(duì)大數(shù)據(jù)海量任務(wù)調(diào)度系統(tǒng)的架構(gòu)設(shè)計(jì)，關(guān)鍵技術(shù)實(shí)現(xiàn)，技術(shù)選型有深入的理解。
2. 對(duì)數(shù)據(jù)中臺(tái)模式下，大量任務(wù)高度依賴(lài)，如何管理這些任務(wù)，確保任務(wù)正確、按時(shí)產(chǎn)出，提供了新的思路。
3. 對(duì)如何保障質(zhì)量的前提下，如何實(shí)現(xiàn)敏捷的大數(shù)據(jù)開(kāi)發(fā)，打造CI/CD Pilpleline有深入的掌握。

解決思路

---

本次分享，將結(jié)合網(wǎng)易在數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程中遇到的真實(shí)案例，為大家介紹網(wǎng)易在海量任務(wù)高效研發(fā)和運(yùn)維管理方面的實(shí)踐。網(wǎng)易任務(wù)調(diào)度系統(tǒng)基于開(kāi)源azkaban項(xiàng)目進(jìn)行深度改造，包括：新增“跨流依賴(lài)”、“并發(fā)鏈?zhǔn)窖a(bǔ)數(shù)據(jù)”、“節(jié)點(diǎn)前后置動(dòng)作”、“公共資源”等特性；同時(shí)針對(duì) Azkaban 服務(wù)在運(yùn)維能力的不足，實(shí)現(xiàn)了“高可用”、“平滑升級(jí)”?；?Azkaban之上，我們搭建了智能任務(wù)運(yùn)維中心系統(tǒng)，提供了基線(xiàn)預(yù)警、任務(wù)智能診斷、全鏈路影響分析、關(guān)鍵鏈路分析、凍結(jié)池、加速器等特性，保障了數(shù)據(jù)中臺(tái)每天能夠按時(shí)、正確的產(chǎn)出數(shù)據(jù)。同時(shí)，網(wǎng)易還在大數(shù)據(jù)研發(fā)領(lǐng)域，構(gòu)建了數(shù)據(jù)測(cè)試中心，實(shí)現(xiàn)了大數(shù)據(jù)研發(fā)的CI/CD devops pipleline，在數(shù)據(jù)研發(fā)效率和質(zhì)量方面做了最佳實(shí)踐探索。

結(jié)果

---

1. 網(wǎng)易Azkaban 每日有20W的任務(wù)調(diào)度，有1W多任務(wù)依賴(lài)關(guān)系。
2. 任務(wù)運(yùn)維中心，幫助嚴(yán)選構(gòu)建了基于基線(xiàn)的任務(wù)管理模式，基于基線(xiàn)預(yù)警的能力，實(shí)現(xiàn)了8W任務(wù)的精細(xì)化管理，任務(wù)完成率達(dá)到了96.14%，首次實(shí)現(xiàn)了S級(jí)大促數(shù)據(jù)零延遲。
3. 通過(guò)構(gòu)建CI/CD Devops pipleline， 同時(shí)數(shù)據(jù)質(zhì)量的問(wèn)題下降了60%。
4. 通過(guò)數(shù)據(jù)沙箱的構(gòu)建，在物理集群完全隔離的前提下，實(shí)現(xiàn)了一套代碼，透明發(fā)布，任務(wù)發(fā)布效率提升300%。