課程簡介
本課程圍繞湖倉一體展開，重點介紹企業(yè)湖倉一體數據架構的介紹，從數據架構的 演進，到數據湖的出現，再到湖倉一體架構的發(fā)展，深入解析湖倉一體的核心主流技術， 以及企業(yè)級湖倉一體架構建設方法，幫助學習者從各個方面對湖倉一體架構有更深入的 理解。
目標收益
培訓對象
1. 大數據從業(yè)人員 2. 企業(yè) IT 開發(fā)人員 3. 企業(yè)數據部門人員
課程大綱
| 數據架構的演進 |
1. 數據架構的發(fā)展史 1.1 早期的數據架構 1.2 數據倉庫時代 1.3 數據湖的出現 1.3.1 非結構化數據存儲 1.3.2 數據湖的基本原理 1.3.3 數據湖的應用場景 3.1.1 結構化數據 3.1.2 半結構數據 3.1.3 非結構化數據 3.1.4 異構數據存儲 3.2 不同的終端用戶 3.2.1 分析型架構下的數據存儲 3.2.2 探索型架構下的數據存儲 3.2.3 開放的數據存儲格式 3.2.4 分析性數據架構 3.3 數據存儲技術的發(fā)展 3.3.1 磁帶存儲 3.3.2 分布式存儲技術 |
| 湖倉一體的主流核心 技術上 |
2. 湖倉一體架構的出現 2.1 什么是湖倉一體 2.1.1 湖倉一體架構介紹 2.1.2 湖倉一體架構的優(yōu)勢 2.1.3 湖倉一體架構的挑戰(zhàn) 2.1.4 為什么會是湖倉一體 2.2 數據湖倉與數據倉庫 2.2.1 數據倉庫的優(yōu)勢與局限性 2.3 數據湖倉與數據湖 2.3.1 數據湖的優(yōu)勢與局限性 2.3.2 異構數據管理的挑戰(zhàn) 3. 數據存儲技術的發(fā)展 3.1 不同的數據存儲類型 |
| 湖倉一體的主流核心 技術下 |
4. 數據處理技術的發(fā)展 4.1 單體式數據處理技術 4.2Map-Reduce 分布式計算模型 4.3 實時數據處理技術的興起 4.4 批流一體化技術的發(fā)展 4.5 存算分離技術的演進 4.6 數據處理技術對數據架構的影響 5. 數據湖倉的核心能力 5.1 數據湖的核心能力 5.1.1ACID 事務能力 5.1.2 批流一體數據讀寫 5.2 數據湖技術的發(fā)展 5.3 數據湖主流技術 6. 數據湖技術之 Apache Iceberg 6.1Apache Iceberg 的發(fā)展歷史 6.2Apache Iceberg 核心優(yōu)勢 6.3Apache Iceberg 的數據存儲格式 6.4Apache Iceberg 元數據管理 7. 數據湖技術之 Apache Hudi 7.1Apache Hudi 的發(fā)展歷史 7.2Apache Hudi 核心優(yōu)勢 7.3Apache Hudi 的數據存儲格式 7.4Apache Hudi 元數據管理 8. 選擇合適的數據湖技術 8.1 數據湖技術對比 8.2 數據湖技術的未來 8.3 如何選擇正確的數據湖 |
| 企業(yè)級湖倉一體架構 |
9. 構建企業(yè)級湖倉一體架構 9.1 數據倉庫的構建 9.2 數據湖的能力構建 9.3 湖倉一體融合實踐 9.4 批流一體化建設 10. 數據分析與數據湖倉 10.1 數據分析技術 10.2 數據服務 10.3 數據可視化 11. 機器學習與數據湖倉 11.1 機器學習與數據湖 11.2AI 與 BI 的隔離 11.3 機器學習下的數據訪問與管理 12. 湖倉一體化下的數據治理 12.1 數據倉庫下的數據治理 12.2 數據湖下數據治理的挑戰(zhàn) 12.3 湖倉一體下的數據治理體系 |
|
數據架構的演進 1. 數據架構的發(fā)展史 1.1 早期的數據架構 1.2 數據倉庫時代 1.3 數據湖的出現 1.3.1 非結構化數據存儲 1.3.2 數據湖的基本原理 1.3.3 數據湖的應用場景 3.1.1 結構化數據 3.1.2 半結構數據 3.1.3 非結構化數據 3.1.4 異構數據存儲 3.2 不同的終端用戶 3.2.1 分析型架構下的數據存儲 3.2.2 探索型架構下的數據存儲 3.2.3 開放的數據存儲格式 3.2.4 分析性數據架構 3.3 數據存儲技術的發(fā)展 3.3.1 磁帶存儲 3.3.2 分布式存儲技術 |
|
湖倉一體的主流核心 技術上 2. 湖倉一體架構的出現 2.1 什么是湖倉一體 2.1.1 湖倉一體架構介紹 2.1.2 湖倉一體架構的優(yōu)勢 2.1.3 湖倉一體架構的挑戰(zhàn) 2.1.4 為什么會是湖倉一體 2.2 數據湖倉與數據倉庫 2.2.1 數據倉庫的優(yōu)勢與局限性 2.3 數據湖倉與數據湖 2.3.1 數據湖的優(yōu)勢與局限性 2.3.2 異構數據管理的挑戰(zhàn) 3. 數據存儲技術的發(fā)展 3.1 不同的數據存儲類型 |
|
湖倉一體的主流核心 技術下 4. 數據處理技術的發(fā)展 4.1 單體式數據處理技術 4.2Map-Reduce 分布式計算模型 4.3 實時數據處理技術的興起 4.4 批流一體化技術的發(fā)展 4.5 存算分離技術的演進 4.6 數據處理技術對數據架構的影響 5. 數據湖倉的核心能力 5.1 數據湖的核心能力 5.1.1ACID 事務能力 5.1.2 批流一體數據讀寫 5.2 數據湖技術的發(fā)展 5.3 數據湖主流技術 6. 數據湖技術之 Apache Iceberg 6.1Apache Iceberg 的發(fā)展歷史 6.2Apache Iceberg 核心優(yōu)勢 6.3Apache Iceberg 的數據存儲格式 6.4Apache Iceberg 元數據管理 7. 數據湖技術之 Apache Hudi 7.1Apache Hudi 的發(fā)展歷史 7.2Apache Hudi 核心優(yōu)勢 7.3Apache Hudi 的數據存儲格式 7.4Apache Hudi 元數據管理 8. 選擇合適的數據湖技術 8.1 數據湖技術對比 8.2 數據湖技術的未來 8.3 如何選擇正確的數據湖 |
|
企業(yè)級湖倉一體架構 9. 構建企業(yè)級湖倉一體架構 9.1 數據倉庫的構建 9.2 數據湖的能力構建 9.3 湖倉一體融合實踐 9.4 批流一體化建設 10. 數據分析與數據湖倉 10.1 數據分析技術 10.2 數據服務 10.3 數據可視化 11. 機器學習與數據湖倉 11.1 機器學習與數據湖 11.2AI 與 BI 的隔離 11.3 機器學習下的數據訪問與管理 12. 湖倉一體化下的數據治理 12.1 數據倉庫下的數據治理 12.2 數據湖下數據治理的挑戰(zhàn) 12.3 湖倉一體下的數據治理體系 |
近期公開課推薦
