架構(gòu)師
互聯(lián)網(wǎng)
大數(shù)據(jù)
推薦課程
average > 0 ? $model->average . '分' : '10.0分' ?>

基于大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)與應(yīng)用

劉老師

某知名咨詢公司 云平臺(tái)系統(tǒng)架構(gòu)師

畢業(yè)于?連理??學(xué)
簡(jiǎn)介:
精通開(kāi)源的?數(shù)據(jù)?態(tài)技術(shù)和架構(gòu)，Hadoop、Hive、Hbase、 Spark、Flink等開(kāi)源技術(shù)棧。
有10年左右基于?數(shù)據(jù)解決?案平臺(tái)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)分析和挖掘的?型數(shù)據(jù)湖和數(shù)
據(jù)中臺(tái)項(xiàng)?架構(gòu)實(shí)施經(jīng)驗(yàn),
?前任職國(guó)內(nèi)知名咨詢公司，先后服務(wù)于北京?學(xué)軟件研究所、阿?巴巴、Teradata,實(shí)施過(guò)基于開(kāi)源?數(shù)據(jù)技術(shù)
棧的數(shù)據(jù)湖解決?案和實(shí)施、湖倉(cāng)?體架構(gòu)咨詢和實(shí)施、數(shù)據(jù)中臺(tái)的咨詢和設(shè)施
最近主要項(xiàng)?介紹:
某移動(dòng)?數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)和設(shè)施 (Hadoop、Spark)
四??之?的數(shù)據(jù)湖咨詢和實(shí)施
某?型商業(yè)銀?數(shù)據(jù)中臺(tái)咨詢
某銀?基于開(kāi)源?數(shù)據(jù)技術(shù)棧數(shù)據(jù)中臺(tái)的咨詢和實(shí)施
某航空公司數(shù)據(jù)平臺(tái)流批?體解決?案和實(shí)施
特長(zhǎng):
在?數(shù)據(jù)架構(gòu)、開(kāi)發(fā)、運(yùn)維和優(yōu)化、數(shù)據(jù)集成、 數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)建模、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、數(shù)據(jù)
中臺(tái)等??有豐富經(jīng) 驗(yàn)。

畢業(yè)于?連理??學(xué) 簡(jiǎn)介: 精通開(kāi)源的?數(shù)據(jù)?態(tài)技術(shù)和架構(gòu)，Hadoop、Hive、Hbase、 Spark、Flink等開(kāi)源技術(shù)棧。 有10年左右基于?數(shù)據(jù)解決?案平臺(tái)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)分析和挖掘的?型數(shù)據(jù)湖和數(shù) 據(jù)中臺(tái)項(xiàng)?架構(gòu)實(shí)施經(jīng)驗(yàn), ?前任職國(guó)內(nèi)知名咨詢公司，先后服務(wù)于北京?學(xué)軟件研究所、阿?巴巴、Teradata,實(shí)施過(guò)基于開(kāi)源?數(shù)據(jù)技術(shù) 棧的數(shù)據(jù)湖解決?案和實(shí)施、湖倉(cāng)?體架構(gòu)咨詢和實(shí)施、數(shù)據(jù)中臺(tái)的咨詢和設(shè)施 最近主要項(xiàng)?介紹: 某移動(dòng)?數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)和設(shè)施 (Hadoop、Spark) 四??之?的數(shù)據(jù)湖咨詢和實(shí)施 某?型商業(yè)銀?數(shù)據(jù)中臺(tái)咨詢 某銀?基于開(kāi)源?數(shù)據(jù)技術(shù)棧數(shù)據(jù)中臺(tái)的咨詢和實(shí)施 某航空公司數(shù)據(jù)平臺(tái)流批?體解決?案和實(shí)施 特長(zhǎng): 在?數(shù)據(jù)架構(gòu)、開(kāi)發(fā)、運(yùn)維和優(yōu)化、數(shù)據(jù)集成、 數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)建模、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、數(shù)據(jù) 中臺(tái)等??有豐富經(jīng) 驗(yàn)。

課程費(fèi)用

5800.00 /人

課程時(shí)長(zhǎng)

2天

成為教練

課程簡(jiǎn)介

隨著大數(shù)據(jù)技術(shù)的使用越來(lái)越廣泛，企業(yè)面臨數(shù)據(jù)整合、數(shù)據(jù)分層、數(shù)據(jù)管理、數(shù)據(jù)使用、數(shù)據(jù)湖等問(wèn)題尤為的重要。使得基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖建設(shè)非常的必要。本次大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)的培訓(xùn)理論和實(shí)踐相結(jié)合，通過(guò)一些企業(yè)級(jí)的真實(shí)案例實(shí)現(xiàn)基于大數(shù)據(jù)平臺(tái)數(shù)倉(cāng)、數(shù)據(jù)湖的建設(shè)。
本次課程包含3NF模型和維度模型的使用經(jīng)驗(yàn)分享，金融行業(yè)的10大主題域模型等。

目標(biāo)收益

1. 數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的概念和架構(gòu)
2. 數(shù)據(jù)建模的技術(shù)、流程和注意點(diǎn)
3. 數(shù)據(jù)整合、處理和展示的流程
4. 基于大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖的技術(shù)和案例分享
5. 電信和銀行等傳統(tǒng)行業(yè)大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖的落地案例和經(jīng)驗(yàn)分享
6. 關(guān)系模型和維度模型的應(yīng)用場(chǎng)景

培訓(xùn)對(duì)象

1. 數(shù)據(jù)架構(gòu)師
2. 數(shù)據(jù)分析和挖掘人員
3. 模型師
4. 大數(shù)據(jù)架構(gòu)師
5. ETL開(kāi)發(fā)工程師
6. 業(yè)務(wù)人員
學(xué)員基礎(chǔ)：
1. 對(duì)大數(shù)據(jù)技術(shù)了解
2. 對(duì)業(yè)務(wù)了解

課程大綱

第一章：數(shù)據(jù)分析技術(shù)介紹和比較(SQL on Hadoop) M-OLAP分析應(yīng)用場(chǎng)景介紹
1. Kylin實(shí)現(xiàn)M-OALP介紹
2. R-OLAP應(yīng)用分析場(chǎng)景介紹
3. SparkSQL應(yīng)用場(chǎng)景介紹
4. Impala應(yīng)用場(chǎng)景介紹
5. Presto應(yīng)用場(chǎng)景介紹
6. sparkSQL、Impala和Presto之間的比較
7. Elasticsearch應(yīng)用場(chǎng)景介紹
8. ELK應(yīng)用案例介紹和分享
第二章：數(shù)據(jù)建模方法介紹（范式模型） 1. 關(guān)系建模概念
2. 為什么要關(guān)系數(shù)據(jù)建模
3. 關(guān)系建模的方法介紹
4. 概念模型
5. 邏輯模型
6. 物理模型
7. Teradata 金融十大模型主題域介紹
8. 關(guān)系建模的應(yīng)用場(chǎng)景
第三章：數(shù)據(jù)建模方法介紹（維度模型） 1. 維度建模概念
2. 為什么要維度建模
3. 維度表介紹
4. 維度種類
5. 緩慢變化維處理
6. 快速變化維處理
7. 代理鍵
8. 維度的三種模型介紹：星型模型、雪花模型、多維模型
9. 事實(shí)表的類型
10. 基于維度模型數(shù)據(jù)倉(cāng)庫(kù)的基本概念
11. 維度模型建設(shè)步驟
第四章：范式建模和維度建模的比較 1. 企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)范式建模和維度建模的引用場(chǎng)景
2. 范式建模解決的問(wèn)題領(lǐng)域
3. 維度建模解決的問(wèn)題領(lǐng)域
4. 關(guān)系建模和維度建模的比較
第五章：數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)架構(gòu) 1. 數(shù)據(jù)倉(cāng)庫(kù)典型架構(gòu)介紹：、ODS層、DW層、DM層
2. 數(shù)據(jù)安全控制
3. ETL任務(wù)調(diào)度
4. 元數(shù)據(jù)管理
第六章：數(shù)據(jù)湖設(shè)計(jì)架構(gòu) 1. 數(shù)據(jù)湖概念介紹
2. 數(shù)據(jù)湖分區(qū)介紹：著落區(qū)、處理區(qū)、表達(dá)去、探索區(qū)
3. 數(shù)據(jù)湖實(shí)現(xiàn)的技術(shù)介紹
4. 數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)之間的關(guān)系
第七章：大數(shù)據(jù)平臺(tái)的數(shù)據(jù)架構(gòu) 1.數(shù)據(jù)接入大數(shù)據(jù)平臺(tái)
—離線數(shù)據(jù)接入
—實(shí)時(shí)的數(shù)據(jù)接入
2.數(shù)據(jù)處理過(guò)程
—數(shù)據(jù)的ETL
—數(shù)據(jù)分層(ODS、DW和DM等)
—數(shù)據(jù)建模
—數(shù)據(jù)校驗(yàn)
3.數(shù)據(jù)應(yīng)用
—數(shù)據(jù)離線應(yīng)用
—數(shù)據(jù)實(shí)時(shí)應(yīng)用
—數(shù)據(jù)實(shí)驗(yàn)室
—數(shù)據(jù)展示工具(BI工具)
第八章：HIVE數(shù)據(jù)倉(cāng)庫(kù)集群的多維分析建模應(yīng)用實(shí)踐 1. 基于Hadoop的大型分布式數(shù)據(jù)倉(cāng)庫(kù)在行業(yè)中的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例
2. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的平臺(tái)體系結(jié)構(gòu)、核心技術(shù)剖析
3. Hive Server的工作原理、機(jī)制與應(yīng)用
4. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的安裝部署與配置優(yōu)化
5. Hive應(yīng)用開(kāi)發(fā)技巧
6. Hive SQL剖析與應(yīng)用實(shí)踐
7. Hive數(shù)據(jù)倉(cāng)庫(kù)表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出
8. Hive數(shù)據(jù)倉(cāng)庫(kù)報(bào)表設(shè)計(jì)
9. Hive數(shù)據(jù)倉(cāng)庫(kù)表的文件格式介紹
10. 基于Hive的數(shù)據(jù)分層實(shí)現(xiàn) (ODS、DW、DWS/B、DM、ST)
11. 公共緯度的設(shè)計(jì)
12. 雜項(xiàng)緯度的設(shè)計(jì)
13. 緯度退化的設(shè)計(jì)
14. 周期快照的設(shè)計(jì)
15. 拉鏈表的設(shè)計(jì)
第九章：數(shù)據(jù)抽取、采集和整合 1. RDBMS導(dǎo)入導(dǎo)出到hadoop數(shù)據(jù)倉(cāng)庫(kù)
2. Sqoop工具介紹和使用
3. DataX工具介紹
4. CDC工具介紹(Oracle OGG和Mysql Binlog)
5. Hadoop數(shù)據(jù)導(dǎo)出到RDBMS介紹和注意點(diǎn)
6. 實(shí)時(shí)非結(jié)構(gòu)化數(shù)據(jù)的采集
7. 從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉(cāng)庫(kù)
8. 基于Hadoop數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)分層(ODS、DW、DWS/B、DM、ST)
9. 數(shù)據(jù)倉(cāng)庫(kù)不同層之間的數(shù)據(jù)交互和ETL
第十章：維度模型實(shí)時(shí)案例分享 1. 維度模型設(shè)計(jì)步驟
2. 業(yè)務(wù)主體劃分
3. 維度的一致性與一致性維度
4. 客戶維度模型
5. 合約維度模型
6. 賬戶維度模型
7. 機(jī)構(gòu)維度模型
第十一章：基于大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)案例分析 1. 互聯(lián)網(wǎng)基于大數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)介紹
2. 金融基于大數(shù)據(jù)平臺(tái)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)案例分享
第一章：數(shù)據(jù)分析技術(shù)介紹和比較(SQL on Hadoop)
M-OLAP分析應(yīng)用場(chǎng)景介紹
1. Kylin實(shí)現(xiàn)M-OALP介紹
2. R-OLAP應(yīng)用分析場(chǎng)景介紹
3. SparkSQL應(yīng)用場(chǎng)景介紹
4. Impala應(yīng)用場(chǎng)景介紹
5. Presto應(yīng)用場(chǎng)景介紹
6. sparkSQL、Impala和Presto之間的比較
7. Elasticsearch應(yīng)用場(chǎng)景介紹
8. ELK應(yīng)用案例介紹和分享
第二章：數(shù)據(jù)建模方法介紹（范式模型）
1. 關(guān)系建模概念
2. 為什么要關(guān)系數(shù)據(jù)建模
3. 關(guān)系建模的方法介紹
4. 概念模型
5. 邏輯模型
6. 物理模型
7. Teradata 金融十大模型主題域介紹
8. 關(guān)系建模的應(yīng)用場(chǎng)景
第三章：數(shù)據(jù)建模方法介紹（維度模型）
1. 維度建模概念
2. 為什么要維度建模
3. 維度表介紹
4. 維度種類
5. 緩慢變化維處理
6. 快速變化維處理
7. 代理鍵
8. 維度的三種模型介紹：星型模型、雪花模型、多維模型
9. 事實(shí)表的類型
10. 基于維度模型數(shù)據(jù)倉(cāng)庫(kù)的基本概念
11. 維度模型建設(shè)步驟
第四章：范式建模和維度建模的比較
1. 企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)范式建模和維度建模的引用場(chǎng)景
2. 范式建模解決的問(wèn)題領(lǐng)域
3. 維度建模解決的問(wèn)題領(lǐng)域
4. 關(guān)系建模和維度建模的比較
第五章：數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)架構(gòu)
1. 數(shù)據(jù)倉(cāng)庫(kù)典型架構(gòu)介紹：、ODS層、DW層、DM層
2. 數(shù)據(jù)安全控制
3. ETL任務(wù)調(diào)度
4. 元數(shù)據(jù)管理
第六章：數(shù)據(jù)湖設(shè)計(jì)架構(gòu)
1. 數(shù)據(jù)湖概念介紹
2. 數(shù)據(jù)湖分區(qū)介紹：著落區(qū)、處理區(qū)、表達(dá)去、探索區(qū)
3. 數(shù)據(jù)湖實(shí)現(xiàn)的技術(shù)介紹
4. 數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)之間的關(guān)系
第七章：大數(shù)據(jù)平臺(tái)的數(shù)據(jù)架構(gòu)
1.數(shù)據(jù)接入大數(shù)據(jù)平臺(tái)
—離線數(shù)據(jù)接入
—實(shí)時(shí)的數(shù)據(jù)接入
2.數(shù)據(jù)處理過(guò)程
—數(shù)據(jù)的ETL
—數(shù)據(jù)分層(ODS、DW和DM等)
—數(shù)據(jù)建模
—數(shù)據(jù)校驗(yàn)
3.數(shù)據(jù)應(yīng)用
—數(shù)據(jù)離線應(yīng)用
—數(shù)據(jù)實(shí)時(shí)應(yīng)用
—數(shù)據(jù)實(shí)驗(yàn)室
—數(shù)據(jù)展示工具(BI工具)
第八章：HIVE數(shù)據(jù)倉(cāng)庫(kù)集群的多維分析建模應(yīng)用實(shí)踐
1. 基于Hadoop的大型分布式數(shù)據(jù)倉(cāng)庫(kù)在行業(yè)中的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例
2. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的平臺(tái)體系結(jié)構(gòu)、核心技術(shù)剖析
3. Hive Server的工作原理、機(jī)制與應(yīng)用
4. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的安裝部署與配置優(yōu)化
5. Hive應(yīng)用開(kāi)發(fā)技巧
6. Hive SQL剖析與應(yīng)用實(shí)踐
7. Hive數(shù)據(jù)倉(cāng)庫(kù)表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出
8. Hive數(shù)據(jù)倉(cāng)庫(kù)報(bào)表設(shè)計(jì)
9. Hive數(shù)據(jù)倉(cāng)庫(kù)表的文件格式介紹
10. 基于Hive的數(shù)據(jù)分層實(shí)現(xiàn) (ODS、DW、DWS/B、DM、ST)
11. 公共緯度的設(shè)計(jì)
12. 雜項(xiàng)緯度的設(shè)計(jì)
13. 緯度退化的設(shè)計(jì)
14. 周期快照的設(shè)計(jì)
15. 拉鏈表的設(shè)計(jì)
第九章：數(shù)據(jù)抽取、采集和整合
1. RDBMS導(dǎo)入導(dǎo)出到hadoop數(shù)據(jù)倉(cāng)庫(kù)
2. Sqoop工具介紹和使用
3. DataX工具介紹
4. CDC工具介紹(Oracle OGG和Mysql Binlog)
5. Hadoop數(shù)據(jù)導(dǎo)出到RDBMS介紹和注意點(diǎn)
6. 實(shí)時(shí)非結(jié)構(gòu)化數(shù)據(jù)的采集
7. 從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉(cāng)庫(kù)
8. 基于Hadoop數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)分層(ODS、DW、DWS/B、DM、ST)
9. 數(shù)據(jù)倉(cāng)庫(kù)不同層之間的數(shù)據(jù)交互和ETL
第十章：維度模型實(shí)時(shí)案例分享
1. 維度模型設(shè)計(jì)步驟
2. 業(yè)務(wù)主體劃分
3. 維度的一致性與一致性維度
4. 客戶維度模型
5. 合約維度模型
6. 賬戶維度模型
7. 機(jī)構(gòu)維度模型
第十一章：基于大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)案例分析
1. 互聯(lián)網(wǎng)基于大數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)介紹
2. 金融基于大數(shù)據(jù)平臺(tái)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)案例分享

活動(dòng)詳情

提交需求