工程師
其他
架構(gòu)師
架構(gòu)設(shè)計(jì)
大數(shù)據(jù)
數(shù)據(jù)架構(gòu)
工程師
推薦課程
average > 0 ? $model->average . '分' : '10.0分' ?>

湖倉(cāng)一體架構(gòu)和落地培訓(xùn)

劉老師

某知名咨詢(xún)公司 云平臺(tái)系統(tǒng)架構(gòu)師

畢業(yè)于?連理??學(xué)
簡(jiǎn)介:
精通開(kāi)源的?數(shù)據(jù)?態(tài)技術(shù)和架構(gòu)，Hadoop、Hive、Hbase、 Spark、Flink等開(kāi)源技術(shù)棧。
有10年左右基于?數(shù)據(jù)解決?案平臺(tái)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)分析和挖掘的?型數(shù)據(jù)湖和數(shù)
據(jù)中臺(tái)項(xiàng)?架構(gòu)實(shí)施經(jīng)驗(yàn),
?前任職國(guó)內(nèi)知名咨詢(xún)公司，先后服務(wù)于北京?學(xué)軟件研究所、阿?巴巴、Teradata,實(shí)施過(guò)基于開(kāi)源?數(shù)據(jù)技術(shù)
棧的數(shù)據(jù)湖解決?案和實(shí)施、湖倉(cāng)?體架構(gòu)咨詢(xún)和實(shí)施、數(shù)據(jù)中臺(tái)的咨詢(xún)和設(shè)施
最近主要項(xiàng)?介紹:
某移動(dòng)?數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)和設(shè)施 (Hadoop、Spark)
四??之?的數(shù)據(jù)湖咨詢(xún)和實(shí)施
某?型商業(yè)銀?數(shù)據(jù)中臺(tái)咨詢(xún)
某銀?基于開(kāi)源?數(shù)據(jù)技術(shù)棧數(shù)據(jù)中臺(tái)的咨詢(xún)和實(shí)施
某航空公司數(shù)據(jù)平臺(tái)流批?體解決?案和實(shí)施
特長(zhǎng):
在?數(shù)據(jù)架構(gòu)、開(kāi)發(fā)、運(yùn)維和優(yōu)化、數(shù)據(jù)集成、 數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)建模、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、數(shù)據(jù)
中臺(tái)等??有豐富經(jīng) 驗(yàn)。

畢業(yè)于?連理??學(xué) 簡(jiǎn)介: 精通開(kāi)源的?數(shù)據(jù)?態(tài)技術(shù)和架構(gòu)，Hadoop、Hive、Hbase、 Spark、Flink等開(kāi)源技術(shù)棧。 有10年左右基于?數(shù)據(jù)解決?案平臺(tái)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)分析和挖掘的?型數(shù)據(jù)湖和數(shù) 據(jù)中臺(tái)項(xiàng)?架構(gòu)實(shí)施經(jīng)驗(yàn), ?前任職國(guó)內(nèi)知名咨詢(xún)公司，先后服務(wù)于北京?學(xué)軟件研究所、阿?巴巴、Teradata,實(shí)施過(guò)基于開(kāi)源?數(shù)據(jù)技術(shù) 棧的數(shù)據(jù)湖解決?案和實(shí)施、湖倉(cāng)?體架構(gòu)咨詢(xún)和實(shí)施、數(shù)據(jù)中臺(tái)的咨詢(xún)和設(shè)施 最近主要項(xiàng)?介紹: 某移動(dòng)?數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)和設(shè)施 (Hadoop、Spark) 四??之?的數(shù)據(jù)湖咨詢(xún)和實(shí)施 某?型商業(yè)銀?數(shù)據(jù)中臺(tái)咨詢(xún) 某銀?基于開(kāi)源?數(shù)據(jù)技術(shù)棧數(shù)據(jù)中臺(tái)的咨詢(xún)和實(shí)施 某航空公司數(shù)據(jù)平臺(tái)流批?體解決?案和實(shí)施 特長(zhǎng): 在?數(shù)據(jù)架構(gòu)、開(kāi)發(fā)、運(yùn)維和優(yōu)化、數(shù)據(jù)集成、 數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)建模、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、數(shù)據(jù) 中臺(tái)等??有豐富經(jīng) 驗(yàn)。

課程費(fèi)用

6800.00 /人

課程時(shí)長(zhǎng)

2天

成為教練

課程簡(jiǎn)介

課程將詳細(xì)介紹數(shù)據(jù)架構(gòu)的發(fā)展、典型數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)、湖倉(cāng)一體數(shù)據(jù)架構(gòu)及其工具。重點(diǎn)講解Hudi技術(shù)在湖倉(cāng)一體架構(gòu)中的應(yīng)用，并通過(guò)Flink+Hudi構(gòu)建湖倉(cāng)一體數(shù)據(jù)平臺(tái)的案例分享，加深理解。此外，還將通過(guò)實(shí)戰(zhàn)案例，探討湖倉(cāng)一體數(shù)據(jù)底座的構(gòu)建方法，包括數(shù)據(jù)域劃分、指標(biāo)體系構(gòu)建等。本課程適合大數(shù)據(jù)架構(gòu)師、數(shù)據(jù)工程師等角色，旨在提升學(xué)員在湖倉(cāng)一體架構(gòu)設(shè)計(jì)和落地方面的能力。

目標(biāo)收益

培訓(xùn)對(duì)象

課程大綱

數(shù)據(jù)架構(gòu)的發(fā)展 離線(xiàn)數(shù)倉(cāng)解決方案
實(shí)時(shí)數(shù)倉(cāng)數(shù)倉(cāng)解決方案
新一代數(shù)倉(cāng)---數(shù)據(jù)中臺(tái)概念及架構(gòu)
湖倉(cāng)一體數(shù)據(jù)架構(gòu)解決方案
實(shí)時(shí)OLAP數(shù)據(jù)平臺(tái)架構(gòu)方案
基于Flink構(gòu)建實(shí)時(shí)數(shù)據(jù)平臺(tái)的解決方案
基于Flink構(gòu)建湖倉(cāng)一體數(shù)據(jù)平臺(tái)的解決方案
數(shù)據(jù)架構(gòu)設(shè)計(jì)架構(gòu) 數(shù)據(jù)倉(cāng)庫(kù)典型架構(gòu)介紹
—ODS層
—DW層
—DM層
數(shù)據(jù)安全控制
ETL任務(wù)調(diào)度
湖倉(cāng)一體數(shù)據(jù)架構(gòu) 數(shù)據(jù)接入大數(shù)據(jù)平臺(tái)
—離線(xiàn)數(shù)據(jù)接入
—實(shí)時(shí)的數(shù)據(jù)接入
數(shù)據(jù)處理過(guò)程
—數(shù)據(jù)的ETL
—數(shù)據(jù)分層(ODS、DW和DM等)
—數(shù)據(jù)建模
—數(shù)據(jù)校驗(yàn)
數(shù)據(jù)應(yīng)用
—數(shù)據(jù)離線(xiàn)應(yīng)用
—數(shù)據(jù)實(shí)時(shí)應(yīng)用
—數(shù)據(jù)實(shí)驗(yàn)室
—數(shù)據(jù)展示工具(BI工具)
湖倉(cāng)一體工具介紹 數(shù)據(jù)湖工具介紹
常見(jiàn)的數(shù)據(jù)湖技術(shù)
開(kāi)源架構(gòu)Hudi技術(shù)介紹和應(yīng)用場(chǎng)景
開(kāi)源架構(gòu)Iceberg技術(shù)介紹和應(yīng)用場(chǎng)景
開(kāi)源架構(gòu)Delta Lake技術(shù)介紹和應(yīng)用場(chǎng)景
hudi、Iceberg和Delta Lake的比較
Hudi 在業(yè)內(nèi)的使用案例介紹
Flink+hudi構(gòu)建湖倉(cāng)一體技術(shù)介紹 數(shù)據(jù)湖以及Hudi數(shù)據(jù)湖概述
Hudi數(shù)據(jù)湖插入數(shù)據(jù)
Hudi數(shù)據(jù)湖之更新數(shù)據(jù)
Hudi數(shù)據(jù)湖查詢(xún)數(shù)據(jù)
Hudi增量數(shù)據(jù)查詢(xún)
Hudi表格式介紹
Hudi表索引介紹
Hudi數(shù)據(jù)湖COW表引擎
Hudi數(shù)據(jù)湖MOR表引擎
Hudi Timeline詳解
Hudi數(shù)據(jù)湖之flink實(shí)時(shí)數(shù)據(jù)分析服務(wù)構(gòu)建
實(shí)戰(zhàn)：
Flink+Hudi構(gòu)建湖倉(cāng)一體數(shù)據(jù)平臺(tái)的案例分享
案例實(shí)戰(zhàn)：湖倉(cāng)一體數(shù)據(jù)底座實(shí)戰(zhàn) 數(shù)據(jù)域劃分方法論介紹
主題域劃分
指標(biāo)體系構(gòu)建
–業(yè)務(wù)需求梳理方法
–指標(biāo)和維度梳理
–選擇業(yè)務(wù)過(guò)程
–聲明粒度
–確定維度
–確定事實(shí)
–指標(biāo)和維度一致性矩陣
建模規(guī)范介紹
數(shù)據(jù)架構(gòu)解決的問(wèn)題
數(shù)據(jù)分層的好處
數(shù)據(jù)倉(cāng)庫(kù)分層模型介紹（OneData）
明細(xì)模型
-ODS
-DWD
匯總模型
-DWS
-ADS
數(shù)據(jù)分層核心原則—公共數(shù)據(jù)下沉介紹
指標(biāo)數(shù)據(jù)規(guī)范定義
事實(shí)表和維度表識(shí)別
數(shù)據(jù)一致性解決方案
- 指標(biāo)一致性
- 維度一致性
- 事實(shí)一致性
OneID梳理流程和生成規(guī)則案例介紹
建模生命周期
數(shù)據(jù)倉(cāng)庫(kù)OneModel設(shè)計(jì)規(guī)范
存儲(chǔ)規(guī)范
時(shí)間維度規(guī)范
ODS、DWD、DWS、ADS層規(guī)范
數(shù)據(jù)類(lèi)型轉(zhuǎn)換規(guī)范
視圖、臨時(shí)表規(guī)范
數(shù)據(jù)架構(gòu)的發(fā)展
離線(xiàn)數(shù)倉(cāng)解決方案
實(shí)時(shí)數(shù)倉(cāng)數(shù)倉(cāng)解決方案
新一代數(shù)倉(cāng)---數(shù)據(jù)中臺(tái)概念及架構(gòu)
湖倉(cāng)一體數(shù)據(jù)架構(gòu)解決方案
實(shí)時(shí)OLAP數(shù)據(jù)平臺(tái)架構(gòu)方案
基于Flink構(gòu)建實(shí)時(shí)數(shù)據(jù)平臺(tái)的解決方案
基于Flink構(gòu)建湖倉(cāng)一體數(shù)據(jù)平臺(tái)的解決方案
數(shù)據(jù)架構(gòu)設(shè)計(jì)架構(gòu)
數(shù)據(jù)倉(cāng)庫(kù)典型架構(gòu)介紹
—ODS層
—DW層
—DM層
數(shù)據(jù)安全控制
ETL任務(wù)調(diào)度
湖倉(cāng)一體數(shù)據(jù)架構(gòu)
數(shù)據(jù)接入大數(shù)據(jù)平臺(tái)
—離線(xiàn)數(shù)據(jù)接入
—實(shí)時(shí)的數(shù)據(jù)接入
數(shù)據(jù)處理過(guò)程
—數(shù)據(jù)的ETL
—數(shù)據(jù)分層(ODS、DW和DM等)
—數(shù)據(jù)建模
—數(shù)據(jù)校驗(yàn)
數(shù)據(jù)應(yīng)用
—數(shù)據(jù)離線(xiàn)應(yīng)用
—數(shù)據(jù)實(shí)時(shí)應(yīng)用
—數(shù)據(jù)實(shí)驗(yàn)室
—數(shù)據(jù)展示工具(BI工具)
湖倉(cāng)一體工具介紹
數(shù)據(jù)湖工具介紹
常見(jiàn)的數(shù)據(jù)湖技術(shù)
開(kāi)源架構(gòu)Hudi技術(shù)介紹和應(yīng)用場(chǎng)景
開(kāi)源架構(gòu)Iceberg技術(shù)介紹和應(yīng)用場(chǎng)景
開(kāi)源架構(gòu)Delta Lake技術(shù)介紹和應(yīng)用場(chǎng)景
hudi、Iceberg和Delta Lake的比較
Hudi 在業(yè)內(nèi)的使用案例介紹
Flink+hudi構(gòu)建湖倉(cāng)一體技術(shù)介紹
數(shù)據(jù)湖以及Hudi數(shù)據(jù)湖概述
Hudi數(shù)據(jù)湖插入數(shù)據(jù)
Hudi數(shù)據(jù)湖之更新數(shù)據(jù)
Hudi數(shù)據(jù)湖查詢(xún)數(shù)據(jù)
Hudi增量數(shù)據(jù)查詢(xún)
Hudi表格式介紹
Hudi表索引介紹
Hudi數(shù)據(jù)湖COW表引擎
Hudi數(shù)據(jù)湖MOR表引擎
Hudi Timeline詳解
Hudi數(shù)據(jù)湖之flink實(shí)時(shí)數(shù)據(jù)分析服務(wù)構(gòu)建
實(shí)戰(zhàn)：
Flink+Hudi構(gòu)建湖倉(cāng)一體數(shù)據(jù)平臺(tái)的案例分享
案例實(shí)戰(zhàn)：湖倉(cāng)一體數(shù)據(jù)底座實(shí)戰(zhàn)
數(shù)據(jù)域劃分方法論介紹
主題域劃分
指標(biāo)體系構(gòu)建
–業(yè)務(wù)需求梳理方法
–指標(biāo)和維度梳理
–選擇業(yè)務(wù)過(guò)程
–聲明粒度
–確定維度
–確定事實(shí)
–指標(biāo)和維度一致性矩陣
建模規(guī)范介紹
數(shù)據(jù)架構(gòu)解決的問(wèn)題
數(shù)據(jù)分層的好處
數(shù)據(jù)倉(cāng)庫(kù)分層模型介紹（OneData）
明細(xì)模型
-ODS
-DWD
匯總模型
-DWS
-ADS
數(shù)據(jù)分層核心原則—公共數(shù)據(jù)下沉介紹
指標(biāo)數(shù)據(jù)規(guī)范定義
事實(shí)表和維度表識(shí)別
數(shù)據(jù)一致性解決方案
- 指標(biāo)一致性
- 維度一致性
- 事實(shí)一致性
OneID梳理流程和生成規(guī)則案例介紹
建模生命周期
數(shù)據(jù)倉(cāng)庫(kù)OneModel設(shè)計(jì)規(guī)范
存儲(chǔ)規(guī)范
時(shí)間維度規(guī)范
ODS、DWD、DWS、ADS層規(guī)范
數(shù)據(jù)類(lèi)型轉(zhuǎn)換規(guī)范
視圖、臨時(shí)表規(guī)范

課程費(fèi)用

6800.00 /人

課程時(shí)長(zhǎng)

2天

預(yù)約體驗(yàn)票 我要分享

近期公開(kāi)課推薦

近期公開(kāi)課推薦

活動(dòng)詳情

提交需求