課程簡介
金融企業(yè)流式數(shù)據(jù)架構(gòu)設(shè)計與應(yīng)用，包括但不限于；實時數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)質(zhì)量，數(shù)據(jù)安全，數(shù)據(jù)模型，數(shù)據(jù)分布和數(shù)據(jù)生命周期管理等的設(shè)計方法論，以及在實際應(yīng)用中，同批數(shù)據(jù)統(tǒng)一管理的實際運(yùn)用?？紤]到金融業(yè)營銷、風(fēng)控兩個常規(guī)場景，討論企業(yè)流式數(shù)據(jù)架構(gòu)的設(shè)計和管理，包括技術(shù)選型、數(shù)據(jù)治理以及統(tǒng)一建模。
其他流式架構(gòu)知識點(diǎn)：
1.多維模型的建立方法:
2.復(fù)雜數(shù)據(jù)模型的支持方法，
3.極速大數(shù)據(jù)OLAP分析方法
目標(biāo)收益
1.學(xué)習(xí)和了解金融企業(yè)流式數(shù)據(jù)架構(gòu)設(shè)計與應(yīng)用，了解實時數(shù)據(jù)處理過程中的數(shù)據(jù)管理體系，數(shù)據(jù)處理技術(shù)，數(shù)據(jù)質(zhì)量管控以及數(shù)據(jù)安全等；
2.掌握流計算常用技術(shù)與架構(gòu)，包括不限于Apache Storm，Apache Flink，Spark Streaming等；
3.掌握流數(shù)據(jù)架構(gòu)的特點(diǎn)以及建設(shè)方法論；
4.了解業(yè)界主流企業(yè)如何構(gòu)建流數(shù)據(jù)架構(gòu)體系，以及如何在現(xiàn)有大數(shù)據(jù)平臺架構(gòu)下，構(gòu)建流數(shù)據(jù)處理平臺，有效管理流數(shù)據(jù)；
培訓(xùn)對象
1.大數(shù)據(jù)從業(yè)人員
2.企業(yè)IT開發(fā)人員
3.企業(yè)數(shù)據(jù)部門人員
課程大綱
| 企業(yè)流式數(shù)據(jù)架構(gòu)概覽 |
1.企業(yè)數(shù)據(jù)架構(gòu)發(fā)展史 2.數(shù)據(jù)架構(gòu)演進(jìn) 3.Lambda數(shù)據(jù)架構(gòu)介紹 4.Kappa數(shù)據(jù)架構(gòu)介紹 5.面向AI的數(shù)據(jù)架構(gòu)體系 6.面向BI的數(shù)據(jù)架構(gòu)架構(gòu) 7.湖倉一體數(shù)據(jù)架構(gòu)的出現(xiàn) 8.湖倉一體數(shù)據(jù)架構(gòu)原理與實現(xiàn) 9.企業(yè)流式數(shù)據(jù)架構(gòu)概覽 10.流式數(shù)據(jù)架構(gòu)行業(yè)案例 |
| 流計算技術(shù)介紹 |
1.流計算技術(shù)的發(fā)展與現(xiàn)狀 2.流式計算架構(gòu)對比 3.流計算框架之Apache Storm原理與實現(xiàn) 4.流計算框架之Spark Streaming原理與實現(xiàn) 5.流計算框架之Apache Flink原理與實現(xiàn) 6.其他流計算框架介紹 7.企業(yè)數(shù)據(jù)架構(gòu)與流計算技術(shù) |
|
企業(yè)流式數(shù)據(jù)架構(gòu)核心能力 （上） |
1.大數(shù)據(jù)平臺現(xiàn)狀梳理 2.離線數(shù)據(jù)處理與實時數(shù)據(jù)處理 3.構(gòu)建企業(yè)級流數(shù)據(jù)處理平臺 4.企業(yè)數(shù)據(jù)存儲體系（離線與實時） 5.數(shù)據(jù)湖與數(shù)據(jù)倉庫 6.異構(gòu)數(shù)據(jù)存儲與管理 7.批流一體化數(shù)據(jù)處理 |
|
企業(yè)流式數(shù)據(jù)架構(gòu)核心能力 （下） |
1.企業(yè)數(shù)據(jù)治理的挑戰(zhàn) 2.構(gòu)建面向流數(shù)據(jù)的元數(shù)據(jù)管理中心 3.流數(shù)據(jù)架構(gòu)下的數(shù)據(jù)血緣管理 4.流數(shù)據(jù)架構(gòu)下的數(shù)據(jù)可視化 5.流數(shù)據(jù)架構(gòu)下的數(shù)據(jù)質(zhì)量管理 6.流數(shù)據(jù)架構(gòu)下的數(shù)據(jù)安全 7.流數(shù)據(jù)架構(gòu)下的數(shù)據(jù)生命周期管理 |
| 流數(shù)據(jù)架構(gòu)的應(yīng)用領(lǐng)域 |
1.實時數(shù)據(jù)倉庫建設(shè) 2.基于流數(shù)據(jù)構(gòu)建多維模型 3.復(fù)雜數(shù)據(jù)模型的支持方法 4.流數(shù)據(jù)處理與OLAP分析 5.流數(shù)據(jù)處理與可視化大屏技術(shù) 6.流數(shù)據(jù)處理與機(jī)器學(xué)習(xí) 7.基于流計算架構(gòu)構(gòu)建實時特征中心 |
| 案例分享 |
1.大數(shù)據(jù)平臺建設(shè)案例 2.流數(shù)據(jù)處理平臺建設(shè)案例 3.客戶畫像系統(tǒng) 4.營銷推薦系統(tǒng) 5.金融風(fēng)控系統(tǒng) |
|
企業(yè)流式數(shù)據(jù)架構(gòu)概覽 1.企業(yè)數(shù)據(jù)架構(gòu)發(fā)展史 2.數(shù)據(jù)架構(gòu)演進(jìn) 3.Lambda數(shù)據(jù)架構(gòu)介紹 4.Kappa數(shù)據(jù)架構(gòu)介紹 5.面向AI的數(shù)據(jù)架構(gòu)體系 6.面向BI的數(shù)據(jù)架構(gòu)架構(gòu) 7.湖倉一體數(shù)據(jù)架構(gòu)的出現(xiàn) 8.湖倉一體數(shù)據(jù)架構(gòu)原理與實現(xiàn) 9.企業(yè)流式數(shù)據(jù)架構(gòu)概覽 10.流式數(shù)據(jù)架構(gòu)行業(yè)案例 |
|
流計算技術(shù)介紹 1.流計算技術(shù)的發(fā)展與現(xiàn)狀 2.流式計算架構(gòu)對比 3.流計算框架之Apache Storm原理與實現(xiàn) 4.流計算框架之Spark Streaming原理與實現(xiàn) 5.流計算框架之Apache Flink原理與實現(xiàn) 6.其他流計算框架介紹 7.企業(yè)數(shù)據(jù)架構(gòu)與流計算技術(shù) |
|
企業(yè)流式數(shù)據(jù)架構(gòu)核心能力 （上） 1.大數(shù)據(jù)平臺現(xiàn)狀梳理 2.離線數(shù)據(jù)處理與實時數(shù)據(jù)處理 3.構(gòu)建企業(yè)級流數(shù)據(jù)處理平臺 4.企業(yè)數(shù)據(jù)存儲體系（離線與實時） 5.數(shù)據(jù)湖與數(shù)據(jù)倉庫 6.異構(gòu)數(shù)據(jù)存儲與管理 7.批流一體化數(shù)據(jù)處理 |
|
企業(yè)流式數(shù)據(jù)架構(gòu)核心能力 （下） 1.企業(yè)數(shù)據(jù)治理的挑戰(zhàn) 2.構(gòu)建面向流數(shù)據(jù)的元數(shù)據(jù)管理中心 3.流數(shù)據(jù)架構(gòu)下的數(shù)據(jù)血緣管理 4.流數(shù)據(jù)架構(gòu)下的數(shù)據(jù)可視化 5.流數(shù)據(jù)架構(gòu)下的數(shù)據(jù)質(zhì)量管理 6.流數(shù)據(jù)架構(gòu)下的數(shù)據(jù)安全 7.流數(shù)據(jù)架構(gòu)下的數(shù)據(jù)生命周期管理 |
|
流數(shù)據(jù)架構(gòu)的應(yīng)用領(lǐng)域 1.實時數(shù)據(jù)倉庫建設(shè) 2.基于流數(shù)據(jù)構(gòu)建多維模型 3.復(fù)雜數(shù)據(jù)模型的支持方法 4.流數(shù)據(jù)處理與OLAP分析 5.流數(shù)據(jù)處理與可視化大屏技術(shù) 6.流數(shù)據(jù)處理與機(jī)器學(xué)習(xí) 7.基于流計算架構(gòu)構(gòu)建實時特征中心 |
|
案例分享 1.大數(shù)據(jù)平臺建設(shè)案例 2.流數(shù)據(jù)處理平臺建設(shè)案例 3.客戶畫像系統(tǒng) 4.營銷推薦系統(tǒng) 5.金融風(fēng)控系統(tǒng) |
近期公開課推薦
