課程簡介
大數(shù)據(jù)落地已經(jīng)趨于常態(tài)，對于大數(shù)據(jù)，我們面臨的真正問題轉變?yōu)椋?1.怎樣在日新月異的大數(shù)據(jù)處理技術中“淘金” 2.怎樣跟隨并利用好新的大數(shù)據(jù)實踐（比如中臺、數(shù)據(jù)湖）
本門課程介紹業(yè)界最前沿技術和真實的案例，帶你剖析技術框架產(chǎn)生的原因和它們解決的問題，全面掌握大數(shù)據(jù)處理實戰(zhàn)技能。并在課程的最后，深入解決如何用數(shù)據(jù)驅動業(yè)務的問題，通過電商、金融、短視頻等相關案例，詳解經(jīng)過處理的大數(shù)據(jù)是如何推動業(yè)務不斷發(fā)展演進，完成商業(yè)目標的。
目標收益
1. 深入大數(shù)據(jù)最新技術
2. 攻克數(shù)據(jù)中臺的難點
3. 用數(shù)據(jù)驅動業(yè)務價值
培訓對象
1.希望掌握Flink為核心技術的流式計算的知識點、希望掌握海量數(shù)據(jù)處理的大數(shù)據(jù)工程師和架構師；
2.希望了解數(shù)據(jù)中臺建設全貌和具體實現(xiàn)細節(jié)，希望開啟數(shù)據(jù)中臺建設的中臺負責人；
3.希望利用數(shù)據(jù)湖等新理念，打破數(shù)據(jù)孤島、構建現(xiàn)代數(shù)據(jù)倉庫的數(shù)據(jù)治理負責人；
4.在利用以上技術構建好數(shù)據(jù)基礎設施后，希望建立用戶畫像、開啟精準營銷等工作，切實發(fā)揮數(shù)據(jù)價值的數(shù)據(jù)科學家和產(chǎn)品負責人；
課程大綱
| 模塊一：流式計算(Flink)實戰(zhàn)（10月11日 13：30-17：30） |
1. 流式處理架構 1.1 流式處理背景及架構介紹 1.2 流式處理行業(yè)案例以及Flink的適用場景及應用概述 1.3 Flink 與 Spark的比較以及為什么選擇Flink 1.4 Flink流式計算的編程模型[1]：DataStream API 1.5 Flink流式計算的編程模型[2]：FlinkSQL與UDF 2. Flink流式處理核心技術 2.1 三種Time與Watermark 2.2 Window窗口有狀態(tài)聚合計算詳解 2.3 開發(fā)自己的Flink Connector(Source & Sink) 2.4 看懂Flink WebUI和Flink Metrics體系 2.5 常見Flink Connector(Kafka，Elasticsearch，HDFS)的使用與調(diào)優(yōu) 2.6 Flink的Exactly-Once處理、狀態(tài)維護與容錯機制。 2.7 Flink 流式處理時的反壓機制 3. 流式計算常見問題的技術方案： 3.1 如何處理亂序和延遲的數(shù)據(jù)？ 3.2 海量數(shù)據(jù)規(guī)模下的性能調(diào)優(yōu)？ 3.3 雙流Join怎么用？ 3.4 實時數(shù)據(jù)與緯度表關聯(lián)怎么樣做最高效？ 3.5 如何在Flink中實現(xiàn)業(yè)務計算邏輯動態(tài)更新？ 3.6 窗口聚合數(shù)據(jù)希望盡早輸出怎么辦？ 4. Flink在各大互聯(lián)網(wǎng)公司的典型應用剖析 4.1 Flink在阿里、騰訊、微博的應用 4.2 Flink在短視頻直播用戶行為分析的實戰(zhàn) |
| 模塊二：大數(shù)據(jù)中臺構建實戰(zhàn)（10月17日 13：30-17：30） |
1.大數(shù)據(jù)中臺的前世今生 a)數(shù)據(jù)系統(tǒng)到大數(shù)據(jù)系統(tǒng)的發(fā)展 b)大數(shù)據(jù)系統(tǒng)的成本壓力與收益 c)中臺戰(zhàn)略是商業(yè)再造的戰(zhàn)略 d)分久必合的中臺發(fā)展史：專業(yè)分工、內(nèi)部競爭、內(nèi)部計劃經(jīng)濟和內(nèi)部中臺化 e)阿里數(shù)據(jù)中臺的由來 2.大數(shù)據(jù)中臺的理念及其適用場景 a)大數(shù)據(jù)中臺的定義 b)大數(shù)據(jù)中臺的能力構成 c)大數(shù)據(jù)中臺的核心思想 d)大數(shù)據(jù)中臺的價值：降低成本、提升效率、增進協(xié)作、服務客戶 e)大數(shù)據(jù)中臺的設計思想 3.大數(shù)據(jù)中臺的方法論和案例 a)大數(shù)據(jù)中臺的架構 b)阿里大數(shù)據(jù)中臺四橫三縱的架構實踐分析 c)螞蟻金服大數(shù)據(jù)中臺架構：風控、數(shù)據(jù)、業(yè)務 4.大數(shù)據(jù)中臺的架構實戰(zhàn) a)日新月益的業(yè)務及運營變化：商業(yè)賦能、數(shù)據(jù)展示、智能決策 b)數(shù)據(jù)資產(chǎn)管理：資產(chǎn)地圖、資產(chǎn)分析、資產(chǎn)管理、資產(chǎn)應用、資產(chǎn)運營 c)統(tǒng)一數(shù)據(jù)服務：知識萃取中心、公共數(shù)據(jù)中心、垂直數(shù)據(jù)中心 d)智能數(shù)據(jù)研發(fā)：數(shù)據(jù)倉庫規(guī)劃、模型構建、指標規(guī)范、數(shù)據(jù)同步、數(shù)據(jù)開發(fā)、任務調(diào)度、監(jiān)控告警 e)計算平臺：離線計算、實時計算、計算資源調(diào)度 f)分布式存儲平臺 5.大數(shù)據(jù)中臺運營 a)以商業(yè)計劃BP為中心的IT和DT的高效組織 b)人力資源的高效組織 c)戰(zhàn)略投資與財務風險控制 d)大數(shù)據(jù)中臺的運維及IT工程維護 e)數(shù)據(jù)資產(chǎn)化與數(shù)據(jù)商業(yè)化 f)未來的演進 |
| 模塊三：數(shù)據(jù)湖構建實戰(zhàn)（10月24日 13：30-17：30） |
1.數(shù)據(jù)湖是什么湖？ a)什么是數(shù)據(jù)湖 b)原始數(shù)據(jù)保存的問題 c)與數(shù)據(jù)倉庫的區(qū)別 d)數(shù)據(jù)湖的關鍵技術 e)數(shù)據(jù)沼澤與數(shù)據(jù)治理 f)數(shù)據(jù)河與數(shù)據(jù)源 2.數(shù)據(jù)湖的架構及戰(zhàn)略分析 a)數(shù)據(jù)湖的常見架構 b)與數(shù)據(jù)倉庫的關系和并存 c)數(shù)據(jù)湖與Hadoop的關系 d)數(shù)據(jù)湖與原始數(shù)據(jù)的關系 e)數(shù)據(jù)湖與大數(shù)據(jù) f)數(shù)據(jù)湖的安全保障 g)數(shù)據(jù)湖與元數(shù)據(jù) 3.數(shù)據(jù)湖技術分析與實戰(zhàn) a)Apache Hadoop數(shù)據(jù)湖的基礎 b)Apache Kafka數(shù)據(jù)河流的基礎 c)Apache Hudi數(shù)據(jù)湖存儲 d)Apache Ranger數(shù)據(jù)湖安全 e)Apache Atlas數(shù)據(jù)湖治理與元數(shù)據(jù) 4.數(shù)據(jù)湖的案例分析 a)開源Hadoop數(shù)據(jù)湖案例分析 b)Amazon數(shù)據(jù)湖案例分析 c)阿里云EMR數(shù)據(jù)湖案例分析 d)阿里飛天數(shù)據(jù)湖案例分析 e)微軟Data lake as service案例分析 5.未來的發(fā)展 a)下一代數(shù)據(jù)倉庫 b)AI驅動 c)決策自動化 |
| 模塊四：用數(shù)據(jù)做商業(yè)分析（10月31日 13：30-17：30） |
（一）如何應對數(shù)字化轉型 第一節(jié)：阿里數(shù)據(jù)應用轉型 數(shù)據(jù)倉庫的建立 去IOE化和阿里云的成立 數(shù)據(jù)平臺到阿里金融 從成本中心到利潤中心 第二節(jié)：數(shù)據(jù)中臺概念及重要性 數(shù)據(jù)結構認知：常用結構及算法 商務數(shù)據(jù)分析流程 紅牛的數(shù)據(jù)搜集案例 文本挖掘分析 直播營銷中的數(shù)據(jù)分析 第三節(jié)：如何構建數(shù)據(jù)中臺 數(shù)據(jù)和算法的關系 數(shù)據(jù)可視化 推進步驟和切入點 數(shù)據(jù)的存通用 典型案例分享——便利店O2O數(shù)據(jù)管理運營 （二）精準營銷 第一節(jié)：精準營銷概述 STP策略 用戶需求分析 目標用戶選擇 營銷策略分析：定價、促銷 第二節(jié)：精準定向的廣告系統(tǒng) 情境廣告系統(tǒng)介紹 精準廣告投放 廣告相關性 語義匹配 排序、定價和CTR預估 Facebook算法改變調(diào)整影響廣告效果案例 第三節(jié)：精準數(shù)據(jù)推送-今日頭條玩轉精準營銷 我是不是被竊聽了？ 數(shù)據(jù)挖掘：抓取、分類與解讀 用戶畫像 個性推薦 案例：精準營銷助力品牌推廣 第四節(jié)：精準營銷在金融中的運用-消費金融 客戶細分:客戶地圖 價格策略：成本覆蓋損失 營銷策略：人海戰(zhàn)術+線上+線下 大數(shù)據(jù)運用：營銷輔助 （三）用戶畫像基礎 第一節(jié)：客戶畫像概述 什么是PERSONA？客戶畫像的重要性 數(shù)據(jù)的來源，客戶畫像的基礎 客戶畫像的應用領域（推薦、定制、搜索） 定量畫像與定性畫像 第二節(jié)：以騰訊的用研為例-定性與定量結合 屌絲和長尾：找出你真正的用戶 人口統(tǒng)計分析-年齡、性別、地域等顯性分析 ZMET分析，深層次畫像：建立表象特征到挖掘價值屬性 訪談的話術與技巧，內(nèi)在價值標簽的提取 某產(chǎn)品訪談案例分享 第三節(jié)：畫像的應用-某Q閱讀為例 用戶的人口統(tǒng)計數(shù)據(jù) 用戶行為數(shù)據(jù) 用戶的消費行為數(shù)據(jù) 尋找讀者的痛點和爽點 第四節(jié)：用戶畫像在金融中的運用-高凈值客戶分析 AUM：最常用的標簽 活躍度：你眼中的客戶和真實的客戶 新思路：綜合貢獻度 （四）交叉銷售 第一節(jié)：交叉銷售的場景與運用 交叉銷售，從關聯(lián)推薦和微信廣告說起 從4P到4C，渠道的利用 別讓我思考，滿足用戶的便利性需求 ARPU,GMV如何倍增 第二節(jié)：某寶-瘋狂的賽車之買了又買 項目背景：擴容細分類目下產(chǎn)品展示 Pidmatch模塊：寶貝和產(chǎn)品關聯(lián) CRM審核和產(chǎn)品關聯(lián)訂正信息模塊 買了又買模塊：產(chǎn)品關聯(lián)推薦 產(chǎn)品展示的視覺交互改進 灰度測試及產(chǎn)品上線 第三節(jié)： 某Q的閱讀-渠道運營的力量 從閱文免費新規(guī)說開去 Wap、APP和Web不同的渠道 外部渠道互換：預裝、換量、和移動結算 集齊七龍珠，抱緊黃鉆大腿 蚊子腿也是肉：某Q空間Banner圖 總結：互聯(lián)網(wǎng)運營也遵循商業(yè)規(guī)律 第四節(jié)：銀行軟開及運營 一張圖：矩陣管理與金字塔管理 資源的重要性，會哭的孩子有奶喝 誰說大象不能跳舞，銀行的覺醒 新動向：科技金融戰(zhàn)略 （五）總結 要點總結及工具推薦 |
|
模塊一：流式計算(Flink)實戰(zhàn)（10月11日 13：30-17：30） 1. 流式處理架構 1.1 流式處理背景及架構介紹 1.2 流式處理行業(yè)案例以及Flink的適用場景及應用概述 1.3 Flink 與 Spark的比較以及為什么選擇Flink 1.4 Flink流式計算的編程模型[1]：DataStream API 1.5 Flink流式計算的編程模型[2]：FlinkSQL與UDF 2. Flink流式處理核心技術 2.1 三種Time與Watermark 2.2 Window窗口有狀態(tài)聚合計算詳解 2.3 開發(fā)自己的Flink Connector(Source & Sink) 2.4 看懂Flink WebUI和Flink Metrics體系 2.5 常見Flink Connector(Kafka，Elasticsearch，HDFS)的使用與調(diào)優(yōu) 2.6 Flink的Exactly-Once處理、狀態(tài)維護與容錯機制。 2.7 Flink 流式處理時的反壓機制 3. 流式計算常見問題的技術方案： 3.1 如何處理亂序和延遲的數(shù)據(jù)？ 3.2 海量數(shù)據(jù)規(guī)模下的性能調(diào)優(yōu)？ 3.3 雙流Join怎么用？ 3.4 實時數(shù)據(jù)與緯度表關聯(lián)怎么樣做最高效？ 3.5 如何在Flink中實現(xiàn)業(yè)務計算邏輯動態(tài)更新？ 3.6 窗口聚合數(shù)據(jù)希望盡早輸出怎么辦？ 4. Flink在各大互聯(lián)網(wǎng)公司的典型應用剖析 4.1 Flink在阿里、騰訊、微博的應用 4.2 Flink在短視頻直播用戶行為分析的實戰(zhàn) |
|
模塊二：大數(shù)據(jù)中臺構建實戰(zhàn)（10月17日 13：30-17：30） 1.大數(shù)據(jù)中臺的前世今生 a)數(shù)據(jù)系統(tǒng)到大數(shù)據(jù)系統(tǒng)的發(fā)展 b)大數(shù)據(jù)系統(tǒng)的成本壓力與收益 c)中臺戰(zhàn)略是商業(yè)再造的戰(zhàn)略 d)分久必合的中臺發(fā)展史：專業(yè)分工、內(nèi)部競爭、內(nèi)部計劃經(jīng)濟和內(nèi)部中臺化 e)阿里數(shù)據(jù)中臺的由來 2.大數(shù)據(jù)中臺的理念及其適用場景 a)大數(shù)據(jù)中臺的定義 b)大數(shù)據(jù)中臺的能力構成 c)大數(shù)據(jù)中臺的核心思想 d)大數(shù)據(jù)中臺的價值：降低成本、提升效率、增進協(xié)作、服務客戶 e)大數(shù)據(jù)中臺的設計思想 3.大數(shù)據(jù)中臺的方法論和案例 a)大數(shù)據(jù)中臺的架構 b)阿里大數(shù)據(jù)中臺四橫三縱的架構實踐分析 c)螞蟻金服大數(shù)據(jù)中臺架構：風控、數(shù)據(jù)、業(yè)務 4.大數(shù)據(jù)中臺的架構實戰(zhàn) a)日新月益的業(yè)務及運營變化：商業(yè)賦能、數(shù)據(jù)展示、智能決策 b)數(shù)據(jù)資產(chǎn)管理：資產(chǎn)地圖、資產(chǎn)分析、資產(chǎn)管理、資產(chǎn)應用、資產(chǎn)運營 c)統(tǒng)一數(shù)據(jù)服務：知識萃取中心、公共數(shù)據(jù)中心、垂直數(shù)據(jù)中心 d)智能數(shù)據(jù)研發(fā)：數(shù)據(jù)倉庫規(guī)劃、模型構建、指標規(guī)范、數(shù)據(jù)同步、數(shù)據(jù)開發(fā)、任務調(diào)度、監(jiān)控告警 e)計算平臺：離線計算、實時計算、計算資源調(diào)度 f)分布式存儲平臺 5.大數(shù)據(jù)中臺運營 a)以商業(yè)計劃BP為中心的IT和DT的高效組織 b)人力資源的高效組織 c)戰(zhàn)略投資與財務風險控制 d)大數(shù)據(jù)中臺的運維及IT工程維護 e)數(shù)據(jù)資產(chǎn)化與數(shù)據(jù)商業(yè)化 f)未來的演進 |
|
模塊三：數(shù)據(jù)湖構建實戰(zhàn)（10月24日 13：30-17：30） 1.數(shù)據(jù)湖是什么湖？ a)什么是數(shù)據(jù)湖 b)原始數(shù)據(jù)保存的問題 c)與數(shù)據(jù)倉庫的區(qū)別 d)數(shù)據(jù)湖的關鍵技術 e)數(shù)據(jù)沼澤與數(shù)據(jù)治理 f)數(shù)據(jù)河與數(shù)據(jù)源 2.數(shù)據(jù)湖的架構及戰(zhàn)略分析 a)數(shù)據(jù)湖的常見架構 b)與數(shù)據(jù)倉庫的關系和并存 c)數(shù)據(jù)湖與Hadoop的關系 d)數(shù)據(jù)湖與原始數(shù)據(jù)的關系 e)數(shù)據(jù)湖與大數(shù)據(jù) f)數(shù)據(jù)湖的安全保障 g)數(shù)據(jù)湖與元數(shù)據(jù) 3.數(shù)據(jù)湖技術分析與實戰(zhàn) a)Apache Hadoop數(shù)據(jù)湖的基礎 b)Apache Kafka數(shù)據(jù)河流的基礎 c)Apache Hudi數(shù)據(jù)湖存儲 d)Apache Ranger數(shù)據(jù)湖安全 e)Apache Atlas數(shù)據(jù)湖治理與元數(shù)據(jù) 4.數(shù)據(jù)湖的案例分析 a)開源Hadoop數(shù)據(jù)湖案例分析 b)Amazon數(shù)據(jù)湖案例分析 c)阿里云EMR數(shù)據(jù)湖案例分析 d)阿里飛天數(shù)據(jù)湖案例分析 e)微軟Data lake as service案例分析 5.未來的發(fā)展 a)下一代數(shù)據(jù)倉庫 b)AI驅動 c)決策自動化 |
|
模塊四：用數(shù)據(jù)做商業(yè)分析（10月31日 13：30-17：30） （一）如何應對數(shù)字化轉型 第一節(jié)：阿里數(shù)據(jù)應用轉型 數(shù)據(jù)倉庫的建立 去IOE化和阿里云的成立 數(shù)據(jù)平臺到阿里金融 從成本中心到利潤中心 第二節(jié)：數(shù)據(jù)中臺概念及重要性 數(shù)據(jù)結構認知：常用結構及算法 商務數(shù)據(jù)分析流程 紅牛的數(shù)據(jù)搜集案例 文本挖掘分析 直播營銷中的數(shù)據(jù)分析 第三節(jié)：如何構建數(shù)據(jù)中臺 數(shù)據(jù)和算法的關系 數(shù)據(jù)可視化 推進步驟和切入點 數(shù)據(jù)的存通用 典型案例分享——便利店O2O數(shù)據(jù)管理運營 （二）精準營銷 第一節(jié)：精準營銷概述 STP策略 用戶需求分析 目標用戶選擇 營銷策略分析：定價、促銷 第二節(jié)：精準定向的廣告系統(tǒng) 情境廣告系統(tǒng)介紹 精準廣告投放 廣告相關性 語義匹配 排序、定價和CTR預估 Facebook算法改變調(diào)整影響廣告效果案例 第三節(jié)：精準數(shù)據(jù)推送-今日頭條玩轉精準營銷 我是不是被竊聽了？ 數(shù)據(jù)挖掘：抓取、分類與解讀 用戶畫像 個性推薦 案例：精準營銷助力品牌推廣 第四節(jié)：精準營銷在金融中的運用-消費金融 客戶細分:客戶地圖 價格策略：成本覆蓋損失 營銷策略：人海戰(zhàn)術+線上+線下 大數(shù)據(jù)運用：營銷輔助 （三）用戶畫像基礎 第一節(jié)：客戶畫像概述 什么是PERSONA？客戶畫像的重要性 數(shù)據(jù)的來源，客戶畫像的基礎 客戶畫像的應用領域（推薦、定制、搜索） 定量畫像與定性畫像 第二節(jié)：以騰訊的用研為例-定性與定量結合 屌絲和長尾：找出你真正的用戶 人口統(tǒng)計分析-年齡、性別、地域等顯性分析 ZMET分析，深層次畫像：建立表象特征到挖掘價值屬性 訪談的話術與技巧，內(nèi)在價值標簽的提取 某產(chǎn)品訪談案例分享 第三節(jié)：畫像的應用-某Q閱讀為例 用戶的人口統(tǒng)計數(shù)據(jù) 用戶行為數(shù)據(jù) 用戶的消費行為數(shù)據(jù) 尋找讀者的痛點和爽點 第四節(jié)：用戶畫像在金融中的運用-高凈值客戶分析 AUM：最常用的標簽 活躍度：你眼中的客戶和真實的客戶 新思路：綜合貢獻度 （四）交叉銷售 第一節(jié)：交叉銷售的場景與運用 交叉銷售，從關聯(lián)推薦和微信廣告說起 從4P到4C，渠道的利用 別讓我思考，滿足用戶的便利性需求 ARPU,GMV如何倍增 第二節(jié)：某寶-瘋狂的賽車之買了又買 項目背景：擴容細分類目下產(chǎn)品展示 Pidmatch模塊：寶貝和產(chǎn)品關聯(lián) CRM審核和產(chǎn)品關聯(lián)訂正信息模塊 買了又買模塊：產(chǎn)品關聯(lián)推薦 產(chǎn)品展示的視覺交互改進 灰度測試及產(chǎn)品上線 第三節(jié)： 某Q的閱讀-渠道運營的力量 從閱文免費新規(guī)說開去 Wap、APP和Web不同的渠道 外部渠道互換：預裝、換量、和移動結算 集齊七龍珠，抱緊黃鉆大腿 蚊子腿也是肉：某Q空間Banner圖 總結：互聯(lián)網(wǎng)運營也遵循商業(yè)規(guī)律 第四節(jié)：銀行軟開及運營 一張圖：矩陣管理與金字塔管理 資源的重要性，會哭的孩子有奶喝 誰說大象不能跳舞，銀行的覺醒 新動向：科技金融戰(zhàn)略 （五）總結 要點總結及工具推薦 |
近期公開課推薦
