PolarDB 云原生數(shù)據(jù)庫內(nèi)核揭秘

案例背景:
云原生數(shù)據(jù)庫通常采用存儲計(jì)算分離架構(gòu)來實(shí)現(xiàn)計(jì)存獨(dú)立彈性、服務(wù)高可用和按需付費(fèi)等特性。對于這種架構(gòu)，直接使用成熟的云存儲服務(wù)（而非自建專有儲存服務(wù)），能夠有效降低數(shù)據(jù)庫的維護(hù)成本、提升穩(wěn)定性和版本迭代速度。
然而，問題是云存儲與本地存儲是存在巨大特性差異的，因此在將為本地盤設(shè)計(jì)的本地?cái)?shù)據(jù)庫遷移至云儲存上時(shí)，需要進(jìn)行適配性優(yōu)化。 否則性能上完全無法滿足數(shù)據(jù)庫

解決思路:
我們首先分析了云存儲的工作特性差異及其根因，并討論了將B-tree和LSM-tree類存儲引擎的部署至云存儲上時(shí)所會遇到的問題與挑戰(zhàn)。
通過系統(tǒng)實(shí)驗(yàn)、總結(jié)分析等，我們發(fā)現(xiàn)本地存儲與云存儲面臨以下差異和挑戰(zhàn)

1. 遠(yuǎn)程分布式存儲集群的訪問導(dǎo)致云存儲服務(wù)的I/O延遲高；
2. 通常聚合I/O帶寬未被充分利用；
3. 在具有本地存儲的單機(jī)上運(yùn)行良好但需要適應(yīng)云存儲而導(dǎo)致特性改變的傳統(tǒng)設(shè)計(jì)，例如文件cache緩存；
4. 長鏈路導(dǎo)致各種數(shù)據(jù)庫I/O操作之間的隔離度較低（例如，日志刷寫與大量數(shù)據(jù)I/O的競爭）；
5.云用戶允許且可能使用非常大的單表文件（例如數(shù)十TB）而不進(jìn)行數(shù)據(jù)切分，這加劇了I/O問題的影響。

然后，針對這些問題，我們提出了一個(gè)優(yōu)化框架Cloudjump，來幫助開發(fā)人員實(shí)現(xiàn)中心化數(shù)據(jù)庫上云時(shí)的性能適配。

成果：
最后，我們通過兩個(gè)實(shí)用案例，將CloudJump分別應(yīng)用到基于B-tree的PolarDB和基于LSM-tree的RocksDB上，來展示所提優(yōu)化框架的使用及優(yōu)化效果
體會: 云存儲可以被看做是最新一代的硬件, 目前大部分存儲引擎都是針對本地盤進(jìn)行設(shè)計(jì), 這些存儲引擎需要針對云存儲進(jìn)行重新優(yōu)化設(shè)計(jì).