郭憶
0 ? $score . '分' : '10.0分' ?>網(wǎng)易 網(wǎng)易數(shù)據(jù)科學(xué)中心 大數(shù)據(jù)專家 網(wǎng)易有數(shù)產(chǎn)品負(fù)責(zé)人
互聯(lián)網(wǎng)
訪問次數(shù)
5694
反饋數(shù)量
14
關(guān)于教練
郭憶，網(wǎng)易大數(shù)據(jù)產(chǎn)品負(fù)責(zé)人，網(wǎng)易高級(jí)技術(shù)專家，十年互聯(lián)網(wǎng)數(shù)據(jù)研發(fā)和管理的經(jīng)驗(yàn)，極客時(shí)間《數(shù)據(jù)中臺(tái)實(shí)戰(zhàn)課》作者，訂閱量超過5700+。支撐了網(wǎng)易云音樂、嚴(yán)選、新聞、有道數(shù)據(jù)中臺(tái)的建設(shè)，沉淀出網(wǎng)易數(shù)據(jù)中臺(tái)建設(shè)的方法論和支撐技術(shù)體系。在InfoQ、AI在線發(fā)表《網(wǎng)易數(shù)據(jù)中臺(tái)實(shí)踐》文章，閱讀量超過1W+。
課程
-
數(shù)據(jù)中臺(tái)模式下海量任務(wù)的高效研發(fā)和運(yùn)維管理
案例背景:
數(shù)據(jù)中臺(tái)的核心在于數(shù)據(jù)模型的復(fù)用，打破原有的煙囪式的開發(fā)模式，通過抽象公共數(shù)據(jù)層，將數(shù)據(jù)以服務(wù)化的方式在不同的數(shù)據(jù)產(chǎn)品之間進(jìn)行共享。所以在數(shù)據(jù)中臺(tái)的模式下，大數(shù)據(jù)任務(wù)之間存在高度復(fù)雜的依賴關(guān)系，就像一張大網(wǎng)，一個(gè)任務(wù)異常，可能會(huì)導(dǎo)致下游很多模型和指標(biāo)，這就對(duì)大數(shù)據(jù)任務(wù)的研發(fā)和運(yùn)維管理帶來(lái)諸多挑戰(zhàn)：
1. 如何選擇一個(gè)成熟的開源調(diào)度系統(tǒng)，支撐數(shù)據(jù)中臺(tái)的海量任務(wù)調(diào)度？
2. 如何實(shí)現(xiàn)海量任務(wù)的精細(xì)化運(yùn)維和管理
3. 如何保障質(zhì)量的前提下，實(shí)現(xiàn)研發(fā)效率的最大化
4. 如何在資源隔離的前提下，實(shí)現(xiàn)高效的數(shù)據(jù)測(cè)試？
解決思路:
本次分享，將結(jié)合網(wǎng)易在數(shù)據(jù)中臺(tái)構(gòu)建過程中遇到的真實(shí)案例，為大家介紹網(wǎng)易在海量任務(wù)高效研發(fā)和運(yùn)維管理方面的實(shí)踐。網(wǎng)易任務(wù)調(diào)度系統(tǒng)基于開源azkaban項(xiàng)目進(jìn)行深度改造，包括：新增“跨流依賴”、“并發(fā)鏈?zhǔn)窖a(bǔ)數(shù)據(jù)”、“節(jié)點(diǎn)前后置動(dòng)作”、“公共資源”等特性；同時(shí)針對(duì) Azkaban 服務(wù)在運(yùn)維能力的不足，實(shí)現(xiàn)了“高可用”、“平滑升級(jí)”。基于 Azkaban之上，我們搭建了智能任務(wù)運(yùn)維中心系統(tǒng)，提供了基線預(yù)警、任務(wù)智能診斷、全鏈路影響分析、關(guān)鍵鏈路分析、凍結(jié)池、加速器等特性，保障了數(shù)據(jù)中臺(tái)每天能夠按時(shí)、正確的產(chǎn)出數(shù)據(jù)。同時(shí)，網(wǎng)易還在大數(shù)據(jù)研發(fā)領(lǐng)域，構(gòu)建了數(shù)據(jù)測(cè)試中心，實(shí)現(xiàn)了大數(shù)據(jù)研發(fā)的CI/CD devops pipleline，在數(shù)據(jù)研發(fā)效率和質(zhì)量方面做了最佳實(shí)踐探索。
成果：
1. 網(wǎng)易Azkaban 每日有20W的任務(wù)調(diào)度，有1W多任務(wù)依賴關(guān)系。
2. 任務(wù)運(yùn)維中心，幫助嚴(yán)選構(gòu)建了基于基線的任務(wù)管理模式，基于基線預(yù)警的能力，實(shí)現(xiàn)了8W任務(wù)的精細(xì)化管理，任務(wù)完成率達(dá)到了96.14%，首次實(shí)現(xiàn)了S級(jí)大促數(shù)據(jù)零延遲。
3. 通過構(gòu)建CI/CD Devops pipleline， 同時(shí)數(shù)據(jù)質(zhì)量的問題下降了60%。
4. 通過數(shù)據(jù)沙箱的構(gòu)建，在物理集群完全隔離的前提下，實(shí)現(xiàn)了一套代碼，透明發(fā)布，任務(wù)發(fā)布效率提升300%。暫無(wú)課程排期 -
網(wǎng)易數(shù)據(jù)生產(chǎn)力方法論及實(shí)踐
為了實(shí)現(xiàn)通過使用數(shù)據(jù)帶來(lái)組織生產(chǎn)力的提升，網(wǎng)易在2021年數(shù)字+大會(huì)上正式提出了“數(shù)據(jù)生產(chǎn)力”的概念。數(shù)據(jù)生產(chǎn)力的愿景是實(shí)現(xiàn)組織內(nèi)“人人用數(shù)據(jù)，時(shí)時(shí)用數(shù)據(jù)”。數(shù)據(jù)生產(chǎn)力包括數(shù)據(jù)中臺(tái)的建設(shè)和數(shù)據(jù)產(chǎn)品的建設(shè)，數(shù)據(jù)中臺(tái)、數(shù)據(jù)產(chǎn)品以及業(yè)務(wù)系統(tǒng)組成了一個(gè)“數(shù)智化”的循環(huán)，目標(biāo)是讓業(yè)務(wù)流程運(yùn)轉(zhuǎn)的更加智能化。為此網(wǎng)易提出了數(shù)據(jù)生產(chǎn)力的三大核心方法論：DataOps、DataFusion和DataProduct。網(wǎng)易提出數(shù)據(jù)中臺(tái)組織構(gòu)建，應(yīng)該遵循“按需規(guī)劃、逐步迭代、效益為先”的原則，對(duì)于集團(tuán)型企業(yè)可以構(gòu)建兩級(jí)數(shù)據(jù)中臺(tái)架構(gòu)。在三大核心方法論的指導(dǎo)下，網(wǎng)易構(gòu)建了面向數(shù)據(jù)生產(chǎn)力的四層技術(shù)架構(gòu)。本次分享，將以網(wǎng)易數(shù)據(jù)生產(chǎn)力方法論及其最佳實(shí)踐作為重點(diǎn)，穿插網(wǎng)易內(nèi)部和外部的多個(gè)案例，為大家介紹企業(yè)該如何實(shí)現(xiàn)“人人用數(shù)據(jù)，時(shí)時(shí)用數(shù)據(jù)”，通過使用數(shù)據(jù)帶來(lái)組織生產(chǎn)力提升。
暫無(wú)課程排期開發(fā)經(jīng)理
訪問次數(shù)
5694
反饋數(shù)量
相關(guān)教練
