課程簡介
大數(shù)據(jù)平臺架構(gòu)及地理信息應用
目標收益
了解大數(shù)據(jù)平臺的技術(shù)背景、基本知識、常識及術(shù)語。
學員通過學習本課程，能夠熟悉大數(shù)據(jù)行業(yè)和分布式系統(tǒng)的技術(shù)核心知識點；
通過Hadoop、Hive、Spark、HBase知識的學習，能夠掌握大數(shù)據(jù)應用的開發(fā)和運維能力，
并能夠掌握海量數(shù)據(jù)處 理的編碼和性能調(diào)優(yōu)經(jīng)驗。
熟悉中國互聯(lián)網(wǎng)公司（如阿里巴巴、騰訊）的大數(shù)據(jù)平臺中各組件的技術(shù)應用和最佳實踐。
了解大數(shù)據(jù)平臺在互聯(lián)網(wǎng)業(yè)務及地理信息系統(tǒng)的應用。
培訓對象
擁有一定研發(fā)經(jīng)驗，希望行業(yè)前研經(jīng)驗和應用有所了解的學員。
所有對《大數(shù)據(jù)平臺及地理信息應用》感興趣的學員。
課程內(nèi)容
從基礎到深入，并結(jié)合真實案例和客戶自己的問題，結(jié)合實踐環(huán)節(jié)，全程干貨。
課程大綱
| 大數(shù)據(jù)平臺的發(fā)展歷程 |
數(shù)據(jù)到大數(shù)據(jù)發(fā)展歷程 1．集中式數(shù)據(jù)系統(tǒng)到大數(shù)據(jù)平臺 2．阿里大數(shù)據(jù)平臺的發(fā)展歷程 |
| 大數(shù)據(jù)平臺的基本原理 |
1、分布式系統(tǒng)基本原理 什么是分布式系統(tǒng)？ CAP定理 2、分布式大數(shù)據(jù)基本構(gòu)成 計算系統(tǒng) 文件存儲系統(tǒng) 結(jié)構(gòu)化存儲引擎 有向無環(huán)圖系統(tǒng) 上層查詢引擎 3、適用場景 離線計算平臺及業(yè)務 實時計算平臺及業(yè)務 |
| 大數(shù)據(jù)平臺的架構(gòu)類型 |
開源的架構(gòu)及組成 1． Hadoop分布式文件系統(tǒng)HDFS，Hadoop Distributed File System組件及原理 (1) Namenode主結(jié)點Master結(jié)點 (2) Datanode從結(jié)點Slave結(jié)點 2． Hadoop分布式調(diào)度系統(tǒng)Yarn，Yet Another Resource Negotiator (1) Resource Manager 主結(jié)點Master結(jié)點 (2) Node Manager 從結(jié)點Slave結(jié)點 (3) Application Master 應用可擴展主結(jié)點 3． 計算引擎 (1) MapReduce (2) Hive (3) Spark (4) Flink 4． 調(diào)度引擎 (1) AirFlow (2) Oozie |
| 商業(yè)公司的架構(gòu)及組成，以阿里飛天為例 |
飛天分布式文件系統(tǒng)盤古 1． 分布式文件系統(tǒng)Pangu Master主結(jié)點 2． 分布式文件系統(tǒng)從結(jié)點Chunk Server Slave從結(jié)點 飛天分布式計算平臺伏羲 1． 伏羲Master 2． 伏羲Slave 基于飛天的生態(tài)系統(tǒng) 1． 天網(wǎng)、在云端、數(shù)據(jù)地圖等 |
| 地理信息應用舉例 |
1． 華為應用案例 華為地理信息云舉例 2． Oracle應用案例 Spatial、云端戰(zhàn)略等 3． 高德應用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應用、在線應用 4． 餓了么應用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應用、在線應用 5． 淘寶應用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應用、在線應用 |
|
大數(shù)據(jù)平臺的發(fā)展歷程 數(shù)據(jù)到大數(shù)據(jù)發(fā)展歷程 1．集中式數(shù)據(jù)系統(tǒng)到大數(shù)據(jù)平臺 2．阿里大數(shù)據(jù)平臺的發(fā)展歷程 |
|
大數(shù)據(jù)平臺的基本原理 1、分布式系統(tǒng)基本原理 什么是分布式系統(tǒng)？ CAP定理 2、分布式大數(shù)據(jù)基本構(gòu)成 計算系統(tǒng) 文件存儲系統(tǒng) 結(jié)構(gòu)化存儲引擎 有向無環(huán)圖系統(tǒng) 上層查詢引擎 3、適用場景 離線計算平臺及業(yè)務 實時計算平臺及業(yè)務 |
|
大數(shù)據(jù)平臺的架構(gòu)類型 開源的架構(gòu)及組成 1． Hadoop分布式文件系統(tǒng)HDFS，Hadoop Distributed File System組件及原理 (1) Namenode主結(jié)點Master結(jié)點 (2) Datanode從結(jié)點Slave結(jié)點 2． Hadoop分布式調(diào)度系統(tǒng)Yarn，Yet Another Resource Negotiator (1) Resource Manager 主結(jié)點Master結(jié)點 (2) Node Manager 從結(jié)點Slave結(jié)點 (3) Application Master 應用可擴展主結(jié)點 3． 計算引擎 (1) MapReduce (2) Hive (3) Spark (4) Flink 4． 調(diào)度引擎 (1) AirFlow (2) Oozie |
|
商業(yè)公司的架構(gòu)及組成，以阿里飛天為例 飛天分布式文件系統(tǒng)盤古 1． 分布式文件系統(tǒng)Pangu Master主結(jié)點 2． 分布式文件系統(tǒng)從結(jié)點Chunk Server Slave從結(jié)點 飛天分布式計算平臺伏羲 1． 伏羲Master 2． 伏羲Slave 基于飛天的生態(tài)系統(tǒng) 1． 天網(wǎng)、在云端、數(shù)據(jù)地圖等 |
|
地理信息應用舉例 1． 華為應用案例 華為地理信息云舉例 2． Oracle應用案例 Spatial、云端戰(zhàn)略等 3． 高德應用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應用、在線應用 4． 餓了么應用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應用、在線應用 5． 淘寶應用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應用、在線應用 |
近期公開課推薦
