課程簡(jiǎn)介
隨著5G時(shí)代來(lái)臨，大數(shù)據(jù)以及AI驅(qū)動(dòng)效益越來(lái)越大，企業(yè)數(shù)據(jù)化管理變革要求越來(lái)越高，數(shù)據(jù)中臺(tái)概念迅速普及，越來(lái)越多的企業(yè)選擇對(duì)企業(yè)中的數(shù)據(jù)進(jìn)行管理，整合，希望通過(guò)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)，尋求更多元化的增長(zhǎng)方式。但數(shù)據(jù)化管理變革通常是一個(gè)解決數(shù)據(jù)歷史債務(wù)的過(guò)程，一方面大家相信大數(shù)據(jù)必然產(chǎn)生價(jià)值，另一方面在面臨各種數(shù)據(jù)建設(shè)問(wèn)題時(shí)工作爆發(fā)式增長(zhǎng)，容易迷失方向，不知道工作從哪兒切入，需要有成熟的經(jīng)驗(yàn)案例可參考，如果你的企業(yè)在數(shù)據(jù)化管理變革中遇到以下問(wèn)題的話，那么這個(gè)課程將會(huì)是你的最佳選擇：
1.數(shù)據(jù)規(guī)模大，異構(gòu)分布在各個(gè)系統(tǒng)，不能對(duì)數(shù)據(jù)進(jìn)行有序、有結(jié)構(gòu)地分類組織和存儲(chǔ)，數(shù)據(jù)猶如垃圾堆積，帶來(lái)高額維護(hù)成本
2.數(shù)據(jù)鏈路長(zhǎng)，數(shù)據(jù)間的生產(chǎn)鏈路依賴錯(cuò)綜復(fù)雜，上下游生產(chǎn)線數(shù)據(jù)質(zhì)量問(wèn)題多，難以做到事前，事中，事后監(jiān)測(cè)，導(dǎo)致長(zhǎng)期使用錯(cuò)誤的數(shù)據(jù)進(jìn)行關(guān)鍵決策
3.大數(shù)據(jù)生態(tài)組件多，數(shù)據(jù)架構(gòu)選型混亂，使用門檻高，缺乏平臺(tái)工具整合，導(dǎo)致無(wú)法大規(guī)模開(kāi)展高效的數(shù)據(jù)分析，挖掘工作
4.無(wú)法根據(jù)企業(yè)的業(yè)務(wù)現(xiàn)狀，人員組織特點(diǎn)，找到顯著有效的數(shù)據(jù)驅(qū)動(dòng)場(chǎng)景，缺乏科學(xué)的數(shù)據(jù)驅(qū)動(dòng)方法論，無(wú)法將數(shù)據(jù)用“活”，發(fā)揮數(shù)據(jù)的最大價(jià)值
目標(biāo)收益
1、獲知互聯(lián)網(wǎng)企業(yè)大數(shù)據(jù)體系建設(shè)的完整形態(tài)，和技術(shù)選型標(biāo)準(zhǔn)，加深對(duì)企業(yè)數(shù)據(jù)化變革的認(rèn)知
2、了解數(shù)據(jù)中臺(tái)工具的功能架構(gòu)，數(shù)據(jù)中臺(tái)賦能的思路方法論及其技術(shù)架構(gòu)
3、用戶行為分析平臺(tái)的埋點(diǎn)上報(bào)，傳輸，管理，驗(yàn)證，基礎(chǔ)數(shù)倉(cāng)建設(shè)的功能技術(shù)架構(gòu)
4、掌握爆炸式數(shù)據(jù)增長(zhǎng)下的數(shù)據(jù)管理，治理體系，了解科學(xué)的數(shù)據(jù)建設(shè)管理方法論，在實(shí)際生產(chǎn)中有序落地，避免數(shù)據(jù)重復(fù)建設(shè)，避免數(shù)據(jù)安全隱患
5、在數(shù)據(jù)生產(chǎn)建設(shè)過(guò)程中，通過(guò)事前生產(chǎn)規(guī)范管理，事中值班響應(yīng)，事后巡檢監(jiān)控，全方位保障數(shù)據(jù)質(zhì)量
6、掌握ABTest實(shí)驗(yàn)的原理，重疊實(shí)驗(yàn)框架的架構(gòu)以及實(shí)驗(yàn)決策的方法論案例，學(xué)會(huì)如何科學(xué)的使用AB測(cè)試做數(shù)據(jù)驅(qū)動(dòng)決策
培訓(xùn)對(duì)象
適用于大數(shù)據(jù)應(yīng)用開(kāi)發(fā)，大數(shù)據(jù)基礎(chǔ)架構(gòu)開(kāi)發(fā)，數(shù)據(jù)產(chǎn)品，數(shù)據(jù)倉(cāng)庫(kù)的軟件架構(gòu)師、軟件設(shè)計(jì)師、程序員、數(shù)據(jù)產(chǎn)品
要求：至少要有1-2年工作經(jīng)驗(yàn)，學(xué)習(xí)過(guò)Hadoop，Hive以及Java語(yǔ)言
課程大綱
| 引子 | 從我們5G時(shí)代說(shuō)起。指出未來(lái)企業(yè)數(shù)據(jù)化變革將越來(lái)越重要。對(duì)于數(shù)據(jù)驅(qū)動(dòng)以及數(shù)據(jù)建設(shè)的方法論要求更高。 |
|
第一單元 企業(yè)大數(shù)據(jù)建設(shè)概覽 |
該單元介紹大型互聯(lián)網(wǎng)公司的大數(shù)據(jù)生態(tài)技術(shù)演進(jìn)概覽 ，大數(shù)據(jù)應(yīng)用，中臺(tái)，平臺(tái)架構(gòu)，讓大家對(duì)大數(shù)據(jù)架構(gòu)的技術(shù)和大數(shù)據(jù)平臺(tái)建設(shè)有一個(gè)全局的了解。 1、大數(shù)據(jù)生態(tài)技術(shù)概覽 （1）大數(shù)據(jù)生態(tài)組件的分布 （2）Hadoop，Hive，Spark，F(xiàn)link，Kylin等各生態(tài)組件的定位和使用場(chǎng)景 2、數(shù)據(jù)應(yīng)用架構(gòu) （1）數(shù)據(jù)應(yīng)用產(chǎn)品矩陣 （2）數(shù)據(jù)面板，用戶行為分析系統(tǒng)，用戶增長(zhǎng)投放系統(tǒng)等產(chǎn)品 3、數(shù)據(jù)中臺(tái)架構(gòu) （1）數(shù)據(jù)中臺(tái)總體概覽 （2）數(shù)據(jù)中臺(tái)工具體系 （3）基礎(chǔ)數(shù)據(jù)建設(shè)概覽 4、數(shù)據(jù)平臺(tái)架構(gòu) （1）離線平臺(tái)架構(gòu)概覽 （2）實(shí)時(shí)平臺(tái)架構(gòu)概覽 （3）統(tǒng)一查詢平臺(tái)概覽 |
|
第二單元 數(shù)據(jù)中臺(tái)工具 |
該單元介紹數(shù)據(jù)中臺(tái)工具的功能架構(gòu)，技術(shù)架構(gòu)，從中臺(tái)工具建設(shè)思路，灌輸一些科學(xué)的數(shù)據(jù)生產(chǎn)方法論。 1、數(shù)據(jù)集成模塊：如何開(kāi)發(fā)和使用數(shù)據(jù)集成模塊對(duì)異構(gòu)數(shù)據(jù)進(jìn)行端到端落地傳輸 2、數(shù)據(jù)開(kāi)發(fā)模塊：結(jié)合底層作業(yè)調(diào)度系統(tǒng)，在事前，事中，事后加入相關(guān)模塊，完成復(fù)雜的DAG作業(yè)開(kāi)發(fā)與運(yùn)維 3、運(yùn)維中心模塊：快速監(jiān)控，診斷復(fù)雜的數(shù)據(jù)鏈路問(wèn)題，以及科學(xué)高效的修復(fù)方法 4、數(shù)據(jù)管理模塊：元數(shù)據(jù)系統(tǒng)的技術(shù)架構(gòu)方案，需要綜合管制的業(yè)務(wù)，生產(chǎn)，運(yùn)維元數(shù)據(jù) 5、數(shù)據(jù)安全模塊：數(shù)據(jù)安全的底層架構(gòu)和流程管制 6、數(shù)據(jù)質(zhì)量模塊：通過(guò)基線管理，DQC功能在數(shù)據(jù)生產(chǎn)中及時(shí)發(fā)現(xiàn)數(shù)據(jù)及時(shí)性，完整性，一致性問(wèn)題 7、報(bào)表平臺(tái)模塊：報(bào)表平臺(tái)的功能定位以及市面選型方案 |
|
第三單元 用戶行為分析平臺(tái) |
該單元介紹企業(yè)網(wǎng)站和APP產(chǎn)品的用戶行為分析場(chǎng)景下，埋點(diǎn)，上報(bào)，數(shù)倉(cāng)建模，可視化產(chǎn)品的解決方案和技術(shù)架構(gòu)。 1、埋點(diǎn)概覽 （1）埋點(diǎn)事件模型 （2）埋點(diǎn)準(zhǔn)入與治理 （3）埋點(diǎn)數(shù)據(jù)質(zhì)量保證 2、百億日志處理架構(gòu) （1） SDK采集上報(bào)設(shè)計(jì) （2）實(shí)時(shí)傳輸架構(gòu)設(shè)計(jì) 3、用戶行為數(shù)倉(cāng)模型 （1）離線數(shù)倉(cāng)設(shè)計(jì) （2）實(shí)時(shí)數(shù)倉(cāng)設(shè)計(jì) 4、可視化分析產(chǎn)品 （1）事件分析 （2） 漏斗分析 （3）留存分析 |
|
第四單元 數(shù)據(jù)治理體系 |
該單元介紹企業(yè)在面臨爆炸式數(shù)據(jù)增長(zhǎng)時(shí)，如何通過(guò)OneData數(shù)據(jù)整合治理方法，對(duì)數(shù)據(jù)進(jìn)行有序，有結(jié)構(gòu)的管理；對(duì)海量的數(shù)據(jù)生產(chǎn)鏈路進(jìn)行治理；有效的提高數(shù)據(jù)一致性，數(shù)據(jù)質(zhì)量，減少成本。 1、規(guī)范管理：什么樣的數(shù)據(jù)生產(chǎn)規(guī)范更利于日后的數(shù)據(jù)管理 2、任務(wù)治理：海量數(shù)據(jù)生產(chǎn)任務(wù)中，我們應(yīng)該如何對(duì)任務(wù)進(jìn)行監(jiān)控以及值班響應(yīng) 3、DQC治理：如何配置DQC規(guī)則，更精準(zhǔn)更快速發(fā)現(xiàn)數(shù)據(jù)準(zhǔn)確性問(wèn)題，減少誤報(bào) 4、成本管理：從數(shù)據(jù)的價(jià)值，可恢復(fù)性，數(shù)據(jù)類型的不同等維度。衡量配置數(shù)據(jù)TTL和冷備管理 5、元數(shù)據(jù)管理：如何與業(yè)務(wù)進(jìn)行合作，結(jié)合數(shù)據(jù)中臺(tái)工具，對(duì)業(yè)務(wù)元數(shù)據(jù)進(jìn)行打標(biāo) 6、數(shù)據(jù)生產(chǎn)問(wèn)題的處理及經(jīng)驗(yàn)，規(guī)范指導(dǎo)，如何有效組織開(kāi)展數(shù)據(jù)相關(guān)SRE工作 |
|
第五單元 ABTest實(shí)驗(yàn)平臺(tái) |
該單元介紹企業(yè)進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的關(guān)鍵方法，AB測(cè)試的原理，工具，技術(shù)架構(gòu)和案例實(shí)踐。 1、為什么要做實(shí)驗(yàn)，如何做實(shí)驗(yàn)，實(shí)驗(yàn)的統(tǒng)計(jì)學(xué)原理，基本概念，如何確認(rèn)實(shí)驗(yàn)的科學(xué)性 2、重疊實(shí)驗(yàn)框架的關(guān)鍵技術(shù)架構(gòu) 3、實(shí)驗(yàn)案例實(shí)踐，將會(huì)有1~2個(gè) |
|
第六單元 典型數(shù)據(jù)應(yīng)用業(yè)務(wù)場(chǎng)景 |
該單元介紹企業(yè)的用戶增長(zhǎng)業(yè)務(wù)場(chǎng)景，描述用戶增長(zhǎng)所需要的所有數(shù)據(jù)架構(gòu)支撐。 1、用戶增長(zhǎng)的實(shí)現(xiàn)目標(biāo)與拆解 2、OCPX的接入與數(shù)據(jù)架構(gòu) 3、RTA流量篩選與數(shù)據(jù)架構(gòu) 4、素材管理與承接一體的數(shù)據(jù)架構(gòu) 5、人群圈選工具的使用與數(shù)據(jù)架構(gòu) |
|
引子 從我們5G時(shí)代說(shuō)起。指出未來(lái)企業(yè)數(shù)據(jù)化變革將越來(lái)越重要。對(duì)于數(shù)據(jù)驅(qū)動(dòng)以及數(shù)據(jù)建設(shè)的方法論要求更高。 |
|
第一單元 企業(yè)大數(shù)據(jù)建設(shè)概覽 該單元介紹大型互聯(lián)網(wǎng)公司的大數(shù)據(jù)生態(tài)技術(shù)演進(jìn)概覽 ，大數(shù)據(jù)應(yīng)用，中臺(tái)，平臺(tái)架構(gòu)，讓大家對(duì)大數(shù)據(jù)架構(gòu)的技術(shù)和大數(shù)據(jù)平臺(tái)建設(shè)有一個(gè)全局的了解。 1、大數(shù)據(jù)生態(tài)技術(shù)概覽 （1）大數(shù)據(jù)生態(tài)組件的分布 （2）Hadoop，Hive，Spark，F(xiàn)link，Kylin等各生態(tài)組件的定位和使用場(chǎng)景 2、數(shù)據(jù)應(yīng)用架構(gòu) （1）數(shù)據(jù)應(yīng)用產(chǎn)品矩陣 （2）數(shù)據(jù)面板，用戶行為分析系統(tǒng)，用戶增長(zhǎng)投放系統(tǒng)等產(chǎn)品 3、數(shù)據(jù)中臺(tái)架構(gòu) （1）數(shù)據(jù)中臺(tái)總體概覽 （2）數(shù)據(jù)中臺(tái)工具體系 （3）基礎(chǔ)數(shù)據(jù)建設(shè)概覽 4、數(shù)據(jù)平臺(tái)架構(gòu) （1）離線平臺(tái)架構(gòu)概覽 （2）實(shí)時(shí)平臺(tái)架構(gòu)概覽 （3）統(tǒng)一查詢平臺(tái)概覽 |
|
第二單元 數(shù)據(jù)中臺(tái)工具 該單元介紹數(shù)據(jù)中臺(tái)工具的功能架構(gòu)，技術(shù)架構(gòu)，從中臺(tái)工具建設(shè)思路，灌輸一些科學(xué)的數(shù)據(jù)生產(chǎn)方法論。 1、數(shù)據(jù)集成模塊：如何開(kāi)發(fā)和使用數(shù)據(jù)集成模塊對(duì)異構(gòu)數(shù)據(jù)進(jìn)行端到端落地傳輸 2、數(shù)據(jù)開(kāi)發(fā)模塊：結(jié)合底層作業(yè)調(diào)度系統(tǒng)，在事前，事中，事后加入相關(guān)模塊，完成復(fù)雜的DAG作業(yè)開(kāi)發(fā)與運(yùn)維 3、運(yùn)維中心模塊：快速監(jiān)控，診斷復(fù)雜的數(shù)據(jù)鏈路問(wèn)題，以及科學(xué)高效的修復(fù)方法 4、數(shù)據(jù)管理模塊：元數(shù)據(jù)系統(tǒng)的技術(shù)架構(gòu)方案，需要綜合管制的業(yè)務(wù)，生產(chǎn)，運(yùn)維元數(shù)據(jù) 5、數(shù)據(jù)安全模塊：數(shù)據(jù)安全的底層架構(gòu)和流程管制 6、數(shù)據(jù)質(zhì)量模塊：通過(guò)基線管理，DQC功能在數(shù)據(jù)生產(chǎn)中及時(shí)發(fā)現(xiàn)數(shù)據(jù)及時(shí)性，完整性，一致性問(wèn)題 7、報(bào)表平臺(tái)模塊：報(bào)表平臺(tái)的功能定位以及市面選型方案 |
|
第三單元 用戶行為分析平臺(tái) 該單元介紹企業(yè)網(wǎng)站和APP產(chǎn)品的用戶行為分析場(chǎng)景下，埋點(diǎn)，上報(bào)，數(shù)倉(cāng)建模，可視化產(chǎn)品的解決方案和技術(shù)架構(gòu)。 1、埋點(diǎn)概覽 （1）埋點(diǎn)事件模型 （2）埋點(diǎn)準(zhǔn)入與治理 （3）埋點(diǎn)數(shù)據(jù)質(zhì)量保證 2、百億日志處理架構(gòu) （1） SDK采集上報(bào)設(shè)計(jì) （2）實(shí)時(shí)傳輸架構(gòu)設(shè)計(jì) 3、用戶行為數(shù)倉(cāng)模型 （1）離線數(shù)倉(cāng)設(shè)計(jì) （2）實(shí)時(shí)數(shù)倉(cāng)設(shè)計(jì) 4、可視化分析產(chǎn)品 （1）事件分析 （2） 漏斗分析 （3）留存分析 |
|
第四單元 數(shù)據(jù)治理體系 該單元介紹企業(yè)在面臨爆炸式數(shù)據(jù)增長(zhǎng)時(shí)，如何通過(guò)OneData數(shù)據(jù)整合治理方法，對(duì)數(shù)據(jù)進(jìn)行有序，有結(jié)構(gòu)的管理；對(duì)海量的數(shù)據(jù)生產(chǎn)鏈路進(jìn)行治理；有效的提高數(shù)據(jù)一致性，數(shù)據(jù)質(zhì)量，減少成本。 1、規(guī)范管理：什么樣的數(shù)據(jù)生產(chǎn)規(guī)范更利于日后的數(shù)據(jù)管理 2、任務(wù)治理：海量數(shù)據(jù)生產(chǎn)任務(wù)中，我們應(yīng)該如何對(duì)任務(wù)進(jìn)行監(jiān)控以及值班響應(yīng) 3、DQC治理：如何配置DQC規(guī)則，更精準(zhǔn)更快速發(fā)現(xiàn)數(shù)據(jù)準(zhǔn)確性問(wèn)題，減少誤報(bào) 4、成本管理：從數(shù)據(jù)的價(jià)值，可恢復(fù)性，數(shù)據(jù)類型的不同等維度。衡量配置數(shù)據(jù)TTL和冷備管理 5、元數(shù)據(jù)管理：如何與業(yè)務(wù)進(jìn)行合作，結(jié)合數(shù)據(jù)中臺(tái)工具，對(duì)業(yè)務(wù)元數(shù)據(jù)進(jìn)行打標(biāo) 6、數(shù)據(jù)生產(chǎn)問(wèn)題的處理及經(jīng)驗(yàn)，規(guī)范指導(dǎo)，如何有效組織開(kāi)展數(shù)據(jù)相關(guān)SRE工作 |
|
第五單元 ABTest實(shí)驗(yàn)平臺(tái) 該單元介紹企業(yè)進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的關(guān)鍵方法，AB測(cè)試的原理，工具，技術(shù)架構(gòu)和案例實(shí)踐。 1、為什么要做實(shí)驗(yàn)，如何做實(shí)驗(yàn)，實(shí)驗(yàn)的統(tǒng)計(jì)學(xué)原理，基本概念，如何確認(rèn)實(shí)驗(yàn)的科學(xué)性 2、重疊實(shí)驗(yàn)框架的關(guān)鍵技術(shù)架構(gòu) 3、實(shí)驗(yàn)案例實(shí)踐，將會(huì)有1~2個(gè) |
|
第六單元 典型數(shù)據(jù)應(yīng)用業(yè)務(wù)場(chǎng)景 該單元介紹企業(yè)的用戶增長(zhǎng)業(yè)務(wù)場(chǎng)景，描述用戶增長(zhǎng)所需要的所有數(shù)據(jù)架構(gòu)支撐。 1、用戶增長(zhǎng)的實(shí)現(xiàn)目標(biāo)與拆解 2、OCPX的接入與數(shù)據(jù)架構(gòu) 3、RTA流量篩選與數(shù)據(jù)架構(gòu) 4、素材管理與承接一體的數(shù)據(jù)架構(gòu) 5、人群圈選工具的使用與數(shù)據(jù)架構(gòu) |
近期公開(kāi)課推薦
