課程簡(jiǎn)介

Oceanus-ETL是騰訊內(nèi)部基于Oceanus實(shí)現(xiàn)的大數(shù)據(jù)ETL平臺(tái)，每天需要處理超過(guò)40萬(wàn)億的消息，在保證低延遲和高吞吐的情況下，還需要在故障情況下仍能保證數(shù)據(jù)端到端的exactly-once，提供高可靠的一致性語(yǔ)義。

目標(biāo)收益

1. 海量數(shù)據(jù)規(guī)模下的數(shù)據(jù)etl架構(gòu)設(shè)計(jì)
2. 高一致性協(xié)議
3. 存儲(chǔ)性能優(yōu)化

培訓(xùn)對(duì)象

課程內(nèi)容

案例方向

---

數(shù)據(jù)商業(yè)化/大數(shù)據(jù)架構(gòu)/NLP/人工智能產(chǎn)品落地

案例背景

---

Oceanus-ETL是騰訊內(nèi)部基于Oceanus實(shí)現(xiàn)的大數(shù)據(jù)ETL平臺(tái)，每天需要處理超過(guò)40萬(wàn)億的消息，在保證低延遲和高吞吐的情況下，還需要在故障情況下仍能保證數(shù)據(jù)端到端的exactly-once，提供高可靠的一致性語(yǔ)義。

收益

---

1. 海量數(shù)據(jù)規(guī)模下的數(shù)據(jù)etl架構(gòu)設(shè)計(jì)
2. 高一致性協(xié)議
3. 存儲(chǔ)性能優(yōu)化

解決思路

---

我們通過(guò)Flink的checkpoint機(jī)制，并配合Iceberg，對(duì)我們的ETL鏈路進(jìn)行了可靠性和性能改造。

結(jié)果

---

我們的項(xiàng)目成功上線測(cè)試，并提供了出色的性能和可靠性保障。