小紅書推薦系統(tǒng)的架構(gòu)演進(jìn)

案例背景:
小紅書是個(gè)生活分享社區(qū)。推薦每天幾百億次筆記曝光承載著給用戶種草功能。推薦算法的核心是根據(jù)大量用戶行為數(shù)據(jù)學(xué)習(xí)出來(lái)的對(duì)用戶行為的預(yù)估模型。
在過(guò)去的一年多的時(shí)間里，推薦的預(yù)估模型從最簡(jiǎn)單的GBDT演進(jìn)到了包含近千億參數(shù)的稀疏離散模型。為了支撐起千億參數(shù)的稀疏離散模型，推薦的在線系統(tǒng)架構(gòu)和線下的數(shù)據(jù)處理架構(gòu)都經(jīng)歷了多次演進(jìn)。


解決思路:
當(dāng)模型變貴變大之后，推薦的線上服務(wù)拆分出了獨(dú)立的集群做模型推薦。當(dāng)模型快達(dá)到百億規(guī)模時(shí)，拆分出了獨(dú)立的參數(shù)服務(wù)器PS。線下數(shù)據(jù)需用Flink做實(shí)時(shí)的行為歸因。離線訓(xùn)練用Volcano管理Tensorflow訓(xùn)練集群。


成果：
模型升級(jí)使業(yè)務(wù)指標(biāo)有兩位數(shù)的提升的同時(shí)，運(yùn)維成本和系統(tǒng)復(fù)雜度有所下降。