課程簡(jiǎn)介
本課程圍繞湖倉(cāng)一體展開，重點(diǎn)介紹企業(yè)湖倉(cāng)一體數(shù)據(jù)架構(gòu)的介紹，從數(shù)據(jù)架構(gòu)的 演進(jìn)，到數(shù)據(jù)湖的出現(xiàn)，再到湖倉(cāng)一體架構(gòu)的發(fā)展，深入解析湖倉(cāng)一體的核心主流技術(shù)， 以及企業(yè)級(jí)湖倉(cāng)一體架構(gòu)建設(shè)方法，幫助學(xué)習(xí)者從各個(gè)方面對(duì)湖倉(cāng)一體架構(gòu)有更深入的 理解。
目標(biāo)收益
培訓(xùn)對(duì)象
1. 大數(shù)據(jù)從業(yè)人員 2. 企業(yè) IT 開發(fā)人員 3. 企業(yè)數(shù)據(jù)部門人員
課程大綱
| 數(shù)據(jù)架構(gòu)的演進(jìn) |
1. 數(shù)據(jù)架構(gòu)的發(fā)展史 1.1 早期的數(shù)據(jù)架構(gòu) 1.2 數(shù)據(jù)倉(cāng)庫(kù)時(shí)代 1.3 數(shù)據(jù)湖的出現(xiàn) 1.3.1 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) 1.3.2 數(shù)據(jù)湖的基本原理 1.3.3 數(shù)據(jù)湖的應(yīng)用場(chǎng)景 3.1.1 結(jié)構(gòu)化數(shù)據(jù) 3.1.2 半結(jié)構(gòu)數(shù)據(jù) 3.1.3 非結(jié)構(gòu)化數(shù)據(jù) 3.1.4 異構(gòu)數(shù)據(jù)存儲(chǔ) 3.2 不同的終端用戶 3.2.1 分析型架構(gòu)下的數(shù)據(jù)存儲(chǔ) 3.2.2 探索型架構(gòu)下的數(shù)據(jù)存儲(chǔ) 3.2.3 開放的數(shù)據(jù)存儲(chǔ)格式 3.2.4 分析性數(shù)據(jù)架構(gòu) 3.3 數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展 3.3.1 磁帶存儲(chǔ) 3.3.2 分布式存儲(chǔ)技術(shù) |
| 湖倉(cāng)一體的主流核心 技術(shù)上 |
2. 湖倉(cāng)一體架構(gòu)的出現(xiàn) 2.1 什么是湖倉(cāng)一體 2.1.1 湖倉(cāng)一體架構(gòu)介紹 2.1.2 湖倉(cāng)一體架構(gòu)的優(yōu)勢(shì) 2.1.3 湖倉(cāng)一體架構(gòu)的挑戰(zhàn) 2.1.4 為什么會(huì)是湖倉(cāng)一體 2.2 數(shù)據(jù)湖倉(cāng)與數(shù)據(jù)倉(cāng)庫(kù) 2.2.1 數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì)與局限性 2.3 數(shù)據(jù)湖倉(cāng)與數(shù)據(jù)湖 2.3.1 數(shù)據(jù)湖的優(yōu)勢(shì)與局限性 2.3.2 異構(gòu)數(shù)據(jù)管理的挑戰(zhàn) 3. 數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展 3.1 不同的數(shù)據(jù)存儲(chǔ)類型 |
| 湖倉(cāng)一體的主流核心 技術(shù)下 |
4. 數(shù)據(jù)處理技術(shù)的發(fā)展 4.1 單體式數(shù)據(jù)處理技術(shù) 4.2Map-Reduce 分布式計(jì)算模型 4.3 實(shí)時(shí)數(shù)據(jù)處理技術(shù)的興起 4.4 批流一體化技術(shù)的發(fā)展 4.5 存算分離技術(shù)的演進(jìn) 4.6 數(shù)據(jù)處理技術(shù)對(duì)數(shù)據(jù)架構(gòu)的影響 5. 數(shù)據(jù)湖倉(cāng)的核心能力 5.1 數(shù)據(jù)湖的核心能力 5.1.1ACID 事務(wù)能力 5.1.2 批流一體數(shù)據(jù)讀寫 5.2 數(shù)據(jù)湖技術(shù)的發(fā)展 5.3 數(shù)據(jù)湖主流技術(shù) 6. 數(shù)據(jù)湖技術(shù)之 Apache Iceberg 6.1Apache Iceberg 的發(fā)展歷史 6.2Apache Iceberg 核心優(yōu)勢(shì) 6.3Apache Iceberg 的數(shù)據(jù)存儲(chǔ)格式 6.4Apache Iceberg 元數(shù)據(jù)管理 7. 數(shù)據(jù)湖技術(shù)之 Apache Hudi 7.1Apache Hudi 的發(fā)展歷史 7.2Apache Hudi 核心優(yōu)勢(shì) 7.3Apache Hudi 的數(shù)據(jù)存儲(chǔ)格式 7.4Apache Hudi 元數(shù)據(jù)管理 8. 選擇合適的數(shù)據(jù)湖技術(shù) 8.1 數(shù)據(jù)湖技術(shù)對(duì)比 8.2 數(shù)據(jù)湖技術(shù)的未來 8.3 如何選擇正確的數(shù)據(jù)湖 |
| 企業(yè)級(jí)湖倉(cāng)一體架構(gòu) |
9. 構(gòu)建企業(yè)級(jí)湖倉(cāng)一體架構(gòu) 9.1 數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建 9.2 數(shù)據(jù)湖的能力構(gòu)建 9.3 湖倉(cāng)一體融合實(shí)踐 9.4 批流一體化建設(shè) 10. 數(shù)據(jù)分析與數(shù)據(jù)湖倉(cāng) 10.1 數(shù)據(jù)分析技術(shù) 10.2 數(shù)據(jù)服務(wù) 10.3 數(shù)據(jù)可視化 11. 機(jī)器學(xué)習(xí)與數(shù)據(jù)湖倉(cāng) 11.1 機(jī)器學(xué)習(xí)與數(shù)據(jù)湖 11.2AI 與 BI 的隔離 11.3 機(jī)器學(xué)習(xí)下的數(shù)據(jù)訪問與管理 12. 湖倉(cāng)一體化下的數(shù)據(jù)治理 12.1 數(shù)據(jù)倉(cāng)庫(kù)下的數(shù)據(jù)治理 12.2 數(shù)據(jù)湖下數(shù)據(jù)治理的挑戰(zhàn) 12.3 湖倉(cāng)一體下的數(shù)據(jù)治理體系 |
|
數(shù)據(jù)架構(gòu)的演進(jìn) 1. 數(shù)據(jù)架構(gòu)的發(fā)展史 1.1 早期的數(shù)據(jù)架構(gòu) 1.2 數(shù)據(jù)倉(cāng)庫(kù)時(shí)代 1.3 數(shù)據(jù)湖的出現(xiàn) 1.3.1 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) 1.3.2 數(shù)據(jù)湖的基本原理 1.3.3 數(shù)據(jù)湖的應(yīng)用場(chǎng)景 3.1.1 結(jié)構(gòu)化數(shù)據(jù) 3.1.2 半結(jié)構(gòu)數(shù)據(jù) 3.1.3 非結(jié)構(gòu)化數(shù)據(jù) 3.1.4 異構(gòu)數(shù)據(jù)存儲(chǔ) 3.2 不同的終端用戶 3.2.1 分析型架構(gòu)下的數(shù)據(jù)存儲(chǔ) 3.2.2 探索型架構(gòu)下的數(shù)據(jù)存儲(chǔ) 3.2.3 開放的數(shù)據(jù)存儲(chǔ)格式 3.2.4 分析性數(shù)據(jù)架構(gòu) 3.3 數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展 3.3.1 磁帶存儲(chǔ) 3.3.2 分布式存儲(chǔ)技術(shù) |
|
湖倉(cāng)一體的主流核心 技術(shù)上 2. 湖倉(cāng)一體架構(gòu)的出現(xiàn) 2.1 什么是湖倉(cāng)一體 2.1.1 湖倉(cāng)一體架構(gòu)介紹 2.1.2 湖倉(cāng)一體架構(gòu)的優(yōu)勢(shì) 2.1.3 湖倉(cāng)一體架構(gòu)的挑戰(zhàn) 2.1.4 為什么會(huì)是湖倉(cāng)一體 2.2 數(shù)據(jù)湖倉(cāng)與數(shù)據(jù)倉(cāng)庫(kù) 2.2.1 數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì)與局限性 2.3 數(shù)據(jù)湖倉(cāng)與數(shù)據(jù)湖 2.3.1 數(shù)據(jù)湖的優(yōu)勢(shì)與局限性 2.3.2 異構(gòu)數(shù)據(jù)管理的挑戰(zhàn) 3. 數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展 3.1 不同的數(shù)據(jù)存儲(chǔ)類型 |
|
湖倉(cāng)一體的主流核心 技術(shù)下 4. 數(shù)據(jù)處理技術(shù)的發(fā)展 4.1 單體式數(shù)據(jù)處理技術(shù) 4.2Map-Reduce 分布式計(jì)算模型 4.3 實(shí)時(shí)數(shù)據(jù)處理技術(shù)的興起 4.4 批流一體化技術(shù)的發(fā)展 4.5 存算分離技術(shù)的演進(jìn) 4.6 數(shù)據(jù)處理技術(shù)對(duì)數(shù)據(jù)架構(gòu)的影響 5. 數(shù)據(jù)湖倉(cāng)的核心能力 5.1 數(shù)據(jù)湖的核心能力 5.1.1ACID 事務(wù)能力 5.1.2 批流一體數(shù)據(jù)讀寫 5.2 數(shù)據(jù)湖技術(shù)的發(fā)展 5.3 數(shù)據(jù)湖主流技術(shù) 6. 數(shù)據(jù)湖技術(shù)之 Apache Iceberg 6.1Apache Iceberg 的發(fā)展歷史 6.2Apache Iceberg 核心優(yōu)勢(shì) 6.3Apache Iceberg 的數(shù)據(jù)存儲(chǔ)格式 6.4Apache Iceberg 元數(shù)據(jù)管理 7. 數(shù)據(jù)湖技術(shù)之 Apache Hudi 7.1Apache Hudi 的發(fā)展歷史 7.2Apache Hudi 核心優(yōu)勢(shì) 7.3Apache Hudi 的數(shù)據(jù)存儲(chǔ)格式 7.4Apache Hudi 元數(shù)據(jù)管理 8. 選擇合適的數(shù)據(jù)湖技術(shù) 8.1 數(shù)據(jù)湖技術(shù)對(duì)比 8.2 數(shù)據(jù)湖技術(shù)的未來 8.3 如何選擇正確的數(shù)據(jù)湖 |
|
企業(yè)級(jí)湖倉(cāng)一體架構(gòu) 9. 構(gòu)建企業(yè)級(jí)湖倉(cāng)一體架構(gòu) 9.1 數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建 9.2 數(shù)據(jù)湖的能力構(gòu)建 9.3 湖倉(cāng)一體融合實(shí)踐 9.4 批流一體化建設(shè) 10. 數(shù)據(jù)分析與數(shù)據(jù)湖倉(cāng) 10.1 數(shù)據(jù)分析技術(shù) 10.2 數(shù)據(jù)服務(wù) 10.3 數(shù)據(jù)可視化 11. 機(jī)器學(xué)習(xí)與數(shù)據(jù)湖倉(cāng) 11.1 機(jī)器學(xué)習(xí)與數(shù)據(jù)湖 11.2AI 與 BI 的隔離 11.3 機(jī)器學(xué)習(xí)下的數(shù)據(jù)訪問與管理 12. 湖倉(cāng)一體化下的數(shù)據(jù)治理 12.1 數(shù)據(jù)倉(cāng)庫(kù)下的數(shù)據(jù)治理 12.2 數(shù)據(jù)湖下數(shù)據(jù)治理的挑戰(zhàn) 12.3 湖倉(cāng)一體下的數(shù)據(jù)治理體系 |
近期公開課推薦
