課程簡介

案例背景:
小紅書是個生活分享社區(qū)。推薦每天幾百億次筆記曝光承載著給用戶種草功能。推薦算法的核心是根據(jù)大量用戶行為數(shù)據(jù)學習出來的對用戶行為的預估模型。
在過去的一年多的時間里，推薦的預估模型從最簡單的GBDT演進到了包含近千億參數(shù)的稀疏離散模型。為了支撐起千億參數(shù)的稀疏離散模型，推薦的在線系統(tǒng)架構(gòu)和線下的數(shù)據(jù)處理架構(gòu)都經(jīng)歷了多次演進。


解決思路:
當模型變貴變大之后，推薦的線上服務拆分出了獨立的集群做模型推薦。當模型快達到百億規(guī)模時，拆分出了獨立的參數(shù)服務器PS。線下數(shù)據(jù)需用Flink做實時的行為歸因。離線訓練用Volcano管理Tensorflow訓練集群。


成果：
模型升級使業(yè)務指標有兩位數(shù)的提升的同時，運維成本和系統(tǒng)復雜度有所下降。

目標收益

學習了解大規(guī)模推薦系統(tǒng)的架構(gòu)設計。
學習了解流計算在推薦場景中的應用

培訓對象

課程內(nèi)容

案例方向

---

高效運維/架構(gòu)演進/微服務的2.0時代/云原生構(gòu)建之路

案例背景

---

小紅書是個生活分享社區(qū)。推薦每天幾百億次筆記曝光承載著給用戶種草功能。推薦算法的核心是根據(jù)大量用戶行為數(shù)據(jù)學習出來的對用戶行為的預估模型。
在過去的一年多的時間里，推薦的預估模型從最簡單的GBDT演進到了包含近千億參數(shù)的稀疏離散模型。為了支撐起千億參數(shù)的稀疏離散模型，推薦的在線系統(tǒng)架構(gòu)和線下的數(shù)據(jù)處理架構(gòu)都經(jīng)歷了多次演進。

收益

---

學習了解大規(guī)模推薦系統(tǒng)的架構(gòu)設計。
學習了解流計算在推薦場景中的應用

解決思路

---

當模型變貴變大之后，推薦的線上服務拆分出了獨立的集群做模型推薦。當模型快達到百億規(guī)模時，拆分出了獨立的參數(shù)服務器PS。線下數(shù)據(jù)需用Flink做實時的行為歸因。離線訓練用Volcano管理Tensorflow訓練集群。

結(jié)果

---

模型升級使業(yè)務指標有兩位數(shù)的提升的同時，運維成本和系統(tǒng)復雜度有所下降。