課程簡介
深度學(xué)習(xí)前沿 - 谷歌變形金剛架構(gòu)及其應(yīng)用
目標(biāo)收益
培訓(xùn)對象
課程大綱
| 1. 注意力機制 Attention |
- Seq-to-Seq 架構(gòu)的核心 - 簡單的 machine translation with attention: NMT - Neural Machine Translation - R-NET: MSRA 的 attention-based 閱讀理解模型 - Neural Turning Machine - Attention 的擴展應(yīng)用：原理、實現(xiàn) |
| 2. Attention is All You Need - 注意力模型的“終極版” |
- 架構(gòu)、原理和實現(xiàn) - 和“傳統(tǒng)” Attention 模型的比較 |
| 3. 變形金剛 Transformer |
- 例子：句子分類 - 模型架構(gòu) - 與卷積網(wǎng)絡(luò)的異同 - Embedding 的新時代 - 變形金剛：超越 LSTM |
| 4. ELMo 和 BERT 模型 |
- ELMo：對上下文的強調(diào) - BERT：從解碼器到編碼器 |
|
1. 注意力機制 Attention - Seq-to-Seq 架構(gòu)的核心 - 簡單的 machine translation with attention: NMT - Neural Machine Translation - R-NET: MSRA 的 attention-based 閱讀理解模型 - Neural Turning Machine - Attention 的擴展應(yīng)用：原理、實現(xiàn) |
|
2. Attention is All You Need - 注意力模型的“終極版” - 架構(gòu)、原理和實現(xiàn) - 和“傳統(tǒng)” Attention 模型的比較 |
|
3. 變形金剛 Transformer - 例子：句子分類 - 模型架構(gòu) - 與卷積網(wǎng)絡(luò)的異同 - Embedding 的新時代 - 變形金剛：超越 LSTM |
|
4. ELMo 和 BERT 模型 - ELMo：對上下文的強調(diào) - BERT：從解碼器到編碼器 |
近期公開課推薦
