數(shù)據(jù)湖的探索與落地實(shí)踐

案例背景:
1.傳統(tǒng)大數(shù)據(jù)離線按天調(diào)度，如何通過增量生產(chǎn)解決數(shù)據(jù)高效產(chǎn)出
2.超大規(guī)模的數(shù)據(jù)upsert更新落地
3.傳統(tǒng)數(shù)倉到湖倉一體的平滑過渡機(jī)制

解決思路:
flink，iceberg，hudi
1、數(shù)據(jù)ETL的痛點(diǎn)
2、基于數(shù)據(jù)湖的增量ETL
3、增量Append及Upsert的實(shí)現(xiàn)
4、未來展望

成果：
引入數(shù)據(jù)湖，打造湖倉一體，落地?cái)?shù)據(jù)從ods到dw層的湖化，包括append以及upsert類型數(shù)據(jù)