課程簡(jiǎn)介
Spark大數(shù)據(jù)計(jì)算框架學(xué)習(xí)與實(shí)踐-待補(bǔ)充
目標(biāo)收益
培訓(xùn)對(duì)象
課程大綱
| 大數(shù)據(jù)基礎(chǔ) |
第01講： MapReduce：計(jì)算框架和編程模型 第02講：Hadoop體系-大數(shù)據(jù)操作系統(tǒng) 第03講：計(jì)算的本質(zhì)：資源管理和生命周期管理 第04講：Spark 數(shù)據(jù)處理與分析應(yīng)用場(chǎng)景 第05講：上手Spark：如何部署&本地測(cè)試 |
| Spark 編程 |
第06講：Spark 抽象、架構(gòu)與運(yùn)行環(huán)境 第07講：Spark 核心數(shù)據(jù)結(jié)構(gòu)：彈性分布式數(shù)據(jù)集 RDD 第08講：計(jì)算框架的分布式實(shí)現(xiàn)：剖析 Spark Shuffle 原理 第09講：什么是函數(shù)式編程思想？ |
| Spark 高級(jí)編程 |
第10講：如何處理結(jié)構(gòu)化數(shù)據(jù)：DataFrame 、Dataset 和 Spark SQL 第11講：如何使用用戶自定義函數(shù)？ 第12講：列式存儲(chǔ)：針對(duì)查詢場(chǎng)景的極致優(yōu)化 第13講：如何對(duì) Spark 進(jìn)行全方位性能調(diào)優(yōu)？ 第14講：Tungsten 和 Hydrogen：Spark 性能提升與優(yōu)化計(jì)劃 第15講：實(shí)戰(zhàn)：探索葡萄牙銀行電話調(diào)查的結(jié)果 |
| Spark 流處理 |
第16講：流處理：什么是流處理？實(shí)時(shí)性和一致性問題 第17講：Spark Streaming 抽象、架構(gòu)與使用方法 第18講：如何在生產(chǎn)環(huán)境中使用 Spark Streaming，以及性能調(diào)優(yōu) 第19講：新一代流式計(jì)算框架：Structured Streaming 第20講：實(shí)戰(zhàn)：游戲任務(wù)中實(shí)時(shí)規(guī)則觸發(fā)發(fā)獎(jiǎng)系統(tǒng)建設(shè) |
| Spark 機(jī)器學(xué)習(xí) |
第21講：機(jī)器學(xué)習(xí)是什么： 機(jī)器學(xué)習(xí)與機(jī)器學(xué)習(xí)工作流 第22講：標(biāo)準(zhǔn)化機(jī)器學(xué)習(xí)流程：ML pipeline 第23講：如何對(duì)數(shù)據(jù)進(jìn)行預(yù)處理？ 第24講：物以類聚：Kmeans 聚類算法 第25講：推薦引擎：協(xié)同過濾 第26講：實(shí)踐：基于活躍預(yù)測(cè)的用戶推薦干預(yù)系統(tǒng)建設(shè) |
|
大數(shù)據(jù)基礎(chǔ) 第01講： MapReduce：計(jì)算框架和編程模型 第02講：Hadoop體系-大數(shù)據(jù)操作系統(tǒng) 第03講：計(jì)算的本質(zhì)：資源管理和生命周期管理 第04講：Spark 數(shù)據(jù)處理與分析應(yīng)用場(chǎng)景 第05講：上手Spark：如何部署&本地測(cè)試 |
|
Spark 編程 第06講：Spark 抽象、架構(gòu)與運(yùn)行環(huán)境 第07講：Spark 核心數(shù)據(jù)結(jié)構(gòu)：彈性分布式數(shù)據(jù)集 RDD 第08講：計(jì)算框架的分布式實(shí)現(xiàn)：剖析 Spark Shuffle 原理 第09講：什么是函數(shù)式編程思想？ |
|
Spark 高級(jí)編程 第10講：如何處理結(jié)構(gòu)化數(shù)據(jù)：DataFrame 、Dataset 和 Spark SQL 第11講：如何使用用戶自定義函數(shù)？ 第12講：列式存儲(chǔ)：針對(duì)查詢場(chǎng)景的極致優(yōu)化 第13講：如何對(duì) Spark 進(jìn)行全方位性能調(diào)優(yōu)？ 第14講：Tungsten 和 Hydrogen：Spark 性能提升與優(yōu)化計(jì)劃 第15講：實(shí)戰(zhàn)：探索葡萄牙銀行電話調(diào)查的結(jié)果 |
|
Spark 流處理 第16講：流處理：什么是流處理？實(shí)時(shí)性和一致性問題 第17講：Spark Streaming 抽象、架構(gòu)與使用方法 第18講：如何在生產(chǎn)環(huán)境中使用 Spark Streaming，以及性能調(diào)優(yōu) 第19講：新一代流式計(jì)算框架：Structured Streaming 第20講：實(shí)戰(zhàn)：游戲任務(wù)中實(shí)時(shí)規(guī)則觸發(fā)發(fā)獎(jiǎng)系統(tǒng)建設(shè) |
|
Spark 機(jī)器學(xué)習(xí) 第21講：機(jī)器學(xué)習(xí)是什么： 機(jī)器學(xué)習(xí)與機(jī)器學(xué)習(xí)工作流 第22講：標(biāo)準(zhǔn)化機(jī)器學(xué)習(xí)流程：ML pipeline 第23講：如何對(duì)數(shù)據(jù)進(jìn)行預(yù)處理？ 第24講：物以類聚：Kmeans 聚類算法 第25講：推薦引擎：協(xié)同過濾 第26講：實(shí)踐：基于活躍預(yù)測(cè)的用戶推薦干預(yù)系統(tǒng)建設(shè) |
近期公開課推薦
