課程簡介
「TensorFlow內(nèi)核剖析」是一個理論與實踐相結合的課程，闡述TensorFlow的系統(tǒng)架構，詮釋內(nèi)核的工作原理。
目標收益
a) 深度了解TensorFlow的系統(tǒng)架構，組件交互，及其內(nèi)核工作與運行機制；
b) 深度了解TensorFlow的編程模型，及其靈活運用深度學習的基本算法原理，并使用TensorFlow實現(xiàn)。
培訓對象
a) 具有1年及以上工作經(jīng)驗，并期望掌握深度學習算法，TensorFlow系統(tǒng)架構，及其運行機制的研發(fā)工程師，算法工程師，及其架構師。
課程大綱
|
第一單元： 系統(tǒng)架構 |
前世今生 - 前世：DistBelief - 今生：TensorFlow - 設計原則 - 原子操作 - 延遲執(zhí)行 - 異構抽象 - 總體架構 - 圖構造 - 子圖劃分 - 子圖注冊 - 子圖執(zhí)行 - 工作流：機器學習 - 輸入管道 - 訓練模型 |
|
第二單元 編程模型 |
### 基本概念 - 計算圖 - OP與節(jié)點 - Tensor與邊 - 兩階段 - 會話 - 設備 - 變量 - 隊列 ### 會話 - 生命周期 - 非交互式 - 交互式 ### 設備 - 設備約束 - 同位關系 ### 變量 - 初始化模型 - 初始化依賴 - 變量類別 ### 輸入管道 - 數(shù)據(jù)供給 - 隊列 ### 模型訓練 - 會話模型 - 協(xié)助協(xié)議 - 監(jiān)聽器 - 協(xié)調(diào)器 - 斷點恢復 ### 優(yōu)化算法 - 梯度計算 - 優(yōu)化器 |
|
第三單元 編程模型 |
### 執(zhí)行機制 - 部分執(zhí)行 - 并發(fā)執(zhí)行 - 分布式執(zhí)行 ### C API：前后端邊界 - Swig：幕后英雄 - 實戰(zhàn)：會話創(chuàng)建 ### OP本質論 - OP注冊 - 內(nèi)核實現(xiàn) - OP構造 - OP執(zhí)行 ### Tensor本質論 - 領域模型 - 形狀推演 - 內(nèi)存管理 ### 本地模式 - 會話生命周期 - 并發(fā)執(zhí)行 ### 分布式模式 - 分布式模型 - 會話生命周期 ### 圖操作 - 子圖剪枝 - 子圖分裂 - 子圖注冊 - 子圖執(zhí)行 ### 設備通信 - Send與Recv - 信箱機制 ### 設備分配 - 設備約束 - 開銷模型 ### Kernel實現(xiàn) - 多態(tài)選擇 |
|
第一單元： 系統(tǒng)架構 前世今生 - 前世：DistBelief - 今生：TensorFlow - 設計原則 - 原子操作 - 延遲執(zhí)行 - 異構抽象 - 總體架構 - 圖構造 - 子圖劃分 - 子圖注冊 - 子圖執(zhí)行 - 工作流：機器學習 - 輸入管道 - 訓練模型 |
|
第二單元 編程模型 ### 基本概念 - 計算圖 - OP與節(jié)點 - Tensor與邊 - 兩階段 - 會話 - 設備 - 變量 - 隊列 ### 會話 - 生命周期 - 非交互式 - 交互式 ### 設備 - 設備約束 - 同位關系 ### 變量 - 初始化模型 - 初始化依賴 - 變量類別 ### 輸入管道 - 數(shù)據(jù)供給 - 隊列 ### 模型訓練 - 會話模型 - 協(xié)助協(xié)議 - 監(jiān)聽器 - 協(xié)調(diào)器 - 斷點恢復 ### 優(yōu)化算法 - 梯度計算 - 優(yōu)化器 |
|
第三單元 編程模型 ### 執(zhí)行機制 - 部分執(zhí)行 - 并發(fā)執(zhí)行 - 分布式執(zhí)行 ### C API：前后端邊界 - Swig：幕后英雄 - 實戰(zhàn)：會話創(chuàng)建 ### OP本質論 - OP注冊 - 內(nèi)核實現(xiàn) - OP構造 - OP執(zhí)行 ### Tensor本質論 - 領域模型 - 形狀推演 - 內(nèi)存管理 ### 本地模式 - 會話生命周期 - 并發(fā)執(zhí)行 ### 分布式模式 - 分布式模型 - 會話生命周期 ### 圖操作 - 子圖剪枝 - 子圖分裂 - 子圖注冊 - 子圖執(zhí)行 ### 設備通信 - Send與Recv - 信箱機制 ### 設備分配 - 設備約束 - 開銷模型 ### Kernel實現(xiàn) - 多態(tài)選擇 |
近期公開課推薦
