美圖PB級大數(shù)據(jù)基礎架構升級之路

案例背景:
隨著美圖業(yè)務的快速擴張，傳統(tǒng)的通過加機器來保障算力的方式已經無法滿足業(yè)務以及成本的需求。海量用戶將給大數(shù)據(jù)架構帶來哪些挑戰(zhàn)？如何提升大數(shù)據(jù)基礎設施算力？大數(shù)據(jù)基礎設施穩(wěn)定性如何提升？數(shù)據(jù)安全如何處理？通過此次分享，希望能給大家的在大數(shù)據(jù)架構及優(yōu)化方面帶來一些的啟發(fā)。

解決思路:
1. 落地引擎改造，調度升級，文件列式存儲改造等去提升大數(shù)據(jù)基礎設施算力
2. 構建完善的監(jiān)控告警，使其精細化，同時提升組件高可用、bug fix&特性增強從而達到基礎設施穩(wěn)定性提升的效果
3. 通過集群入口收斂，平臺化管理，服務器環(huán)境治理，讓數(shù)據(jù)安全得到保障。

成果：
美圖結合自身業(yè)務，通過引擎升級改造、架構優(yōu)化、組件定制與加強、社區(qū)特性引入等技術手段，將大數(shù)據(jù)基礎設施的計算性能較之前提升數(shù)倍，并在此基礎之上將計算集群規(guī)模縮小了一半，大幅降低了業(yè)務成本。