課程簡(jiǎn)介

案例背景:
大中型企業(yè)在最近30年的信息化過(guò)程中，構(gòu)建了大量基于如Oracle，SQLServer等關(guān)系型數(shù)據(jù)庫(kù)業(yè)務(wù)系統(tǒng)。這些數(shù)據(jù)庫(kù)在處理更大量或者更高并發(fā)的時(shí)候已經(jīng)凸顯了老一代技術(shù)的瓶頸，另外，關(guān)系模型的固定結(jié)構(gòu)在更大程度上也是企業(yè)創(chuàng)新的一大阻力。一種比較主流的解決方案就是實(shí)時(shí)數(shù)倉(cāng)，在不改變已有系統(tǒng)的前提下，將數(shù)據(jù)從已有的關(guān)系型數(shù)據(jù)庫(kù)實(shí)時(shí)同步到分布式數(shù)據(jù)倉(cāng)庫(kù)，在一個(gè)新的數(shù)據(jù)平臺(tái)上為新的業(yè)務(wù)做數(shù)據(jù)支撐。

解決思路：

- 使用MongoDB，一個(gè)高性能分布式數(shù)據(jù)庫(kù)，而不是性能遲緩，架構(gòu)臃腫的Hadoop大數(shù)據(jù)
- 使用實(shí)時(shí)的流處理引擎來(lái)進(jìn)行從Oracle/MySQL到MongoDB的數(shù)據(jù)實(shí)時(shí)同步及處理
- 使用Tapdata的流程可視化工具來(lái)降低流處理的使用成本

這個(gè)過(guò)程中我們遇到的挑戰(zhàn)：
Oracle 數(shù)據(jù)庫(kù)日志實(shí)時(shí)采集的一系列坑
MongoDB的邏輯視圖無(wú)法有效使用索引

使用這個(gè)技術(shù)組合，我們?cè)谝粋€(gè)客戶的實(shí)時(shí)數(shù)據(jù)中臺(tái)項(xiàng)目中取得了很大的成功，比較如下：

建設(shè)前：
業(yè)務(wù)數(shù)據(jù)散落在數(shù)十套單獨(dú)的系統(tǒng)內(nèi)，依賴大量的存儲(chǔ)過(guò)程和定制腳本進(jìn)行數(shù)據(jù)打通
對(duì)一個(gè)前端業(yè)務(wù)的支撐，后臺(tái)團(tuán)隊(duì)需要4-8個(gè)星期來(lái)提供一個(gè)數(shù)據(jù)接口
銷售看板需要通過(guò)大量的程序進(jìn)行匯總來(lái)自9個(gè)不同系統(tǒng)的訂單數(shù)據(jù)，在第2天才能形成

建設(shè)后：
統(tǒng)一的實(shí)時(shí)數(shù)據(jù)平臺(tái)，接入了來(lái)自于10多套訂單系統(tǒng)的數(shù)據(jù)及商品庫(kù)存數(shù)據(jù)
簡(jiǎn)單接口1天，相對(duì)復(fù)雜的接口1個(gè)星期
秒級(jí)更新的全局實(shí)時(shí)銷售看板

目標(biāo)收益

- 了解一個(gè)真實(shí)的MongoDB的應(yīng)用場(chǎng)景，及Change Stream 功能的高級(jí)用法
- 了解流處理引擎工作機(jī)制
- 學(xué)習(xí)一個(gè)技術(shù)型數(shù)據(jù)中臺(tái)落地方案

培訓(xùn)對(duì)象

課程內(nèi)容

案例方向

---

智能數(shù)據(jù)分析/企業(yè)級(jí)大數(shù)據(jù)架構(gòu)演進(jìn)/流式計(jì)算系統(tǒng)設(shè)計(jì)/數(shù)據(jù)庫(kù)的未來(lái)

案例背景

---

大中型企業(yè)在最近30年的信息化過(guò)程中，構(gòu)建了大量基于如Oracle，SQLServer等關(guān)系型數(shù)據(jù)庫(kù)業(yè)務(wù)系統(tǒng)。這些數(shù)據(jù)庫(kù)在處理更大量或者更高并發(fā)的時(shí)候已經(jīng)凸顯了老一代技術(shù)的瓶頸，另外，關(guān)系模型的固定結(jié)構(gòu)在更大程度上也是企業(yè)創(chuàng)新的一大阻力。一種比較主流的解決方案就是實(shí)時(shí)數(shù)倉(cāng)，在不改變已有系統(tǒng)的前提下，將數(shù)據(jù)從已有的關(guān)系型數(shù)據(jù)庫(kù)實(shí)時(shí)同步到分布式數(shù)據(jù)倉(cāng)庫(kù)，在一個(gè)新的數(shù)據(jù)平臺(tái)上為新的業(yè)務(wù)做數(shù)據(jù)支撐。

收益

---

- 了解一個(gè)真實(shí)的MongoDB的應(yīng)用場(chǎng)景
- 了解流處理引擎工作機(jī)制
- 學(xué)習(xí)一個(gè)輕量級(jí)數(shù)據(jù)中臺(tái)落地方案

解決思路

---

- 使用MongoDB，一個(gè)高性能分布式數(shù)據(jù)庫(kù)，而不是性能遲緩，架構(gòu)臃腫的Hadoop大數(shù)據(jù)
- 使用實(shí)時(shí)的流處理引擎Hazelcast Jet來(lái)完成從Oracle/MySQL到MongoDB的數(shù)據(jù)實(shí)時(shí)同步及處理
- 使用Tapdata的流程可視化工具來(lái)降低流處理的使用成本

在流處理引擎的選擇上，我們選擇了Hazelcast Jet而不是主流的Flink，這個(gè)考量更多是從數(shù)據(jù)的時(shí)效，以及方案的部署成本及維護(hù)易用性上。

這里面碰到比較大的坑：
Oracle 日志采集的坑比較多，基本上是一路踩過(guò)來(lái)
MongoDB 邏輯視圖無(wú)法有效使用索引導(dǎo)致性能很低，最后使用固化視圖來(lái)解決

結(jié)果

---

使用這個(gè)技術(shù)組合，我們?cè)谝粋€(gè)客戶的實(shí)時(shí)數(shù)據(jù)中臺(tái)項(xiàng)目中取得了很大的成功。在有這個(gè)平臺(tái)之前，對(duì)一個(gè)前段業(yè)務(wù)的支撐，后臺(tái)團(tuán)隊(duì)需要4-8個(gè)星期來(lái)提供數(shù)據(jù)接口。在我們的實(shí)時(shí)數(shù)據(jù)平臺(tái)啟用后，這個(gè)時(shí)間可以縮短到2個(gè)星期。我希望能夠把這個(gè)工具產(chǎn)品化一下，讓更多的用戶可以來(lái)用我們的解決方案。