郭憶
0 ? $score . '分' : '10.0分' ?>網易 網易數據科學中心 大數據專家 網易有數產品負責人
互聯網
訪問次數
6076
反饋數量
14
關于教練
郭憶，網易大數據產品負責人，網易高級技術專家，十年互聯網數據研發(fā)和管理的經驗，極客時間《數據中臺實戰(zhàn)課》作者，訂閱量超過5700+。支撐了網易云音樂、嚴選、新聞、有道數據中臺的建設，沉淀出網易數據中臺建設的方法論和支撐技術體系。在InfoQ、AI在線發(fā)表《網易數據中臺實踐》文章，閱讀量超過1W+。
課程
-
數據中臺模式下海量任務的高效研發(fā)和運維管理
案例背景:
數據中臺的核心在于數據模型的復用，打破原有的煙囪式的開發(fā)模式，通過抽象公共數據層，將數據以服務化的方式在不同的數據產品之間進行共享。所以在數據中臺的模式下，大數據任務之間存在高度復雜的依賴關系，就像一張大網，一個任務異常，可能會導致下游很多模型和指標，這就對大數據任務的研發(fā)和運維管理帶來諸多挑戰(zhàn)：
1. 如何選擇一個成熟的開源調度系統(tǒng)，支撐數據中臺的海量任務調度？
2. 如何實現海量任務的精細化運維和管理
3. 如何保障質量的前提下，實現研發(fā)效率的最大化
4. 如何在資源隔離的前提下，實現高效的數據測試？
解決思路:
本次分享，將結合網易在數據中臺構建過程中遇到的真實案例，為大家介紹網易在海量任務高效研發(fā)和運維管理方面的實踐。網易任務調度系統(tǒng)基于開源azkaban項目進行深度改造，包括：新增“跨流依賴”、“并發(fā)鏈式補數據”、“節(jié)點前后置動作”、“公共資源”等特性；同時針對 Azkaban 服務在運維能力的不足，實現了“高可用”、“平滑升級”?；?Azkaban之上，我們搭建了智能任務運維中心系統(tǒng)，提供了基線預警、任務智能診斷、全鏈路影響分析、關鍵鏈路分析、凍結池、加速器等特性，保障了數據中臺每天能夠按時、正確的產出數據。同時，網易還在大數據研發(fā)領域，構建了數據測試中心，實現了大數據研發(fā)的CI/CD devops pipleline，在數據研發(fā)效率和質量方面做了最佳實踐探索。
成果：
1. 網易Azkaban 每日有20W的任務調度，有1W多任務依賴關系。
2. 任務運維中心，幫助嚴選構建了基于基線的任務管理模式，基于基線預警的能力，實現了8W任務的精細化管理，任務完成率達到了96.14%，首次實現了S級大促數據零延遲。
3. 通過構建CI/CD Devops pipleline， 同時數據質量的問題下降了60%。
4. 通過數據沙箱的構建，在物理集群完全隔離的前提下，實現了一套代碼，透明發(fā)布，任務發(fā)布效率提升300%。暫無課程排期 -
網易數據生產力方法論及實踐
為了實現通過使用數據帶來組織生產力的提升，網易在2021年數字+大會上正式提出了“數據生產力”的概念。數據生產力的愿景是實現組織內“人人用數據，時時用數據”。數據生產力包括數據中臺的建設和數據產品的建設，數據中臺、數據產品以及業(yè)務系統(tǒng)組成了一個“數智化”的循環(huán)，目標是讓業(yè)務流程運轉的更加智能化。為此網易提出了數據生產力的三大核心方法論：DataOps、DataFusion和DataProduct。網易提出數據中臺組織構建，應該遵循“按需規(guī)劃、逐步迭代、效益為先”的原則，對于集團型企業(yè)可以構建兩級數據中臺架構。在三大核心方法論的指導下，網易構建了面向數據生產力的四層技術架構。本次分享，將以網易數據生產力方法論及其最佳實踐作為重點，穿插網易內部和外部的多個案例，為大家介紹企業(yè)該如何實現“人人用數據，時時用數據”，通過使用數據帶來組織生產力提升。
暫無課程排期開發(fā)經理
相關教練
