課程簡(jiǎn)介
之前深度學(xué)習(xí)主要關(guān)注例如文字的序列結(jié)構(gòu)、例如圖片的平面結(jié)構(gòu)，現(xiàn)在處理這些數(shù)據(jù)的做法也比較成熟，關(guān)注序列任務(wù)的NLP領(lǐng)域多用RNN、Transformer、CNN對(duì)數(shù)據(jù)進(jìn)行Encoder，而關(guān)注平面結(jié)構(gòu)的CV領(lǐng)域更多使用CNN及其各種變體對(duì)數(shù)據(jù)進(jìn)行Encoder。在現(xiàn)實(shí)世界中更多的數(shù)據(jù)表示并不是序列或者平面這種簡(jiǎn)單的排列，而是表現(xiàn)為更為復(fù)雜的圖結(jié)構(gòu)，如社交網(wǎng)絡(luò)、商品-店鋪-人之間的關(guān)系、分子結(jié)構(gòu)等等。
圖(graph)是一個(gè)非常常用的數(shù)據(jù)結(jié)構(gòu)，現(xiàn)實(shí)世界中很多很多任務(wù)可以描述為圖問(wèn)題，比如社交網(wǎng)絡(luò)，蛋白體結(jié)構(gòu)，交通路網(wǎng)數(shù)據(jù)，以及很火的知識(shí)圖譜等，甚至規(guī)則網(wǎng)格結(jié)構(gòu)數(shù)據(jù)(如圖像，視頻等)也是圖數(shù)據(jù)的一種特殊形式，因此圖是一個(gè)很值得研究的領(lǐng)域。
目標(biāo)收益
1. 從基礎(chǔ)開始，理解圖數(shù)據(jù)結(jié)構(gòu)特點(diǎn)和特征向量表示
2. 了解圖的應(yīng)用領(lǐng)域和應(yīng)用方法
3. 由淺入深學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò)的構(gòu)建、分類
4. 掌握?qǐng)D神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和訓(xùn)練方法
5. 以GNN為基礎(chǔ)學(xué)習(xí)知識(shí)圖譜的表示和推理
6. 進(jìn)階學(xué)習(xí)圖生成網(wǎng)絡(luò)、圖對(duì)抗訓(xùn)練和圖模型的規(guī)?；?/p>
培訓(xùn)對(duì)象
對(duì)GNN算法原理和應(yīng)?感興趣，具有?定編程(Python)和數(shù)學(xué)基礎(chǔ)(線性代數(shù)、微積分、概率論)的技術(shù)?員。
課程大綱
| 圖和圖神經(jīng)?絡(luò)發(fā)展 |
1.1.為何需要圖 復(fù)習(xí)/了解圖數(shù)據(jù)結(jié)構(gòu)，以及如何在圖數(shù)據(jù)上應(yīng)?機(jī)器學(xué)習(xí) 1.2.圖神經(jīng)?絡(luò)應(yīng)? 介紹圖神經(jīng)?絡(luò)的應(yīng)?場(chǎng)景和?式 1.3.圖的表示 Graph Representation |
| 圖神經(jīng)?絡(luò)基礎(chǔ) |
2.1.傳統(tǒng)基于特征的?法：節(jié)點(diǎn) 2.2.傳統(tǒng)基于特征的?法：邊 2.3.傳統(tǒng)基于特征的?法：圖 |
| 圖嵌?向量 Graph Embedding |
3.1.節(jié)點(diǎn)嵌?向量 Node Embeddings 3.2.節(jié)點(diǎn)嵌?的隨機(jī)游??法 Random walk approaches for node embeddings 3.3.圖整體的嵌?向量 Embedding entire graphs |
| 使?矩陣?具研究圖 |
4.1.PageRank：?jiǎn)栴}和?案 4.2.PageRank：如何解決 4.3.帶重啟的隨機(jī)遍歷 Random walk with restarts 4.4.矩陣分解和節(jié)點(diǎn)嵌? Matrix factorizing and node embedding |
| 圖神經(jīng)?絡(luò)預(yù)備 |
5.1.消息傳遞和節(jié)點(diǎn)分類 Message passing and node classification 5.2.關(guān)系和迭代分類 Relational and iterative classification5.3.集體分類 Collective classification |
| 圖神經(jīng)?絡(luò)?? |
6.1.圖神經(jīng)?絡(luò)介紹 6.2.深度學(xué)習(xí)基礎(chǔ) 6.3.圖的深度學(xué)習(xí) Deep learning for graph |
| 圖神經(jīng)?絡(luò)概述 |
7.1.對(duì)GNN的?般觀點(diǎn) 7.2.單層GNN A single layer of a GNN 7.3.多層GNN Stacking layers of a GNN |
| 圖神經(jīng)?絡(luò)設(shè)計(jì)和訓(xùn)練 |
8.1.GNN的圖擴(kuò)展 Graph augmentation for GNNs 8.2.訓(xùn)練圖神經(jīng)?絡(luò) 8.3.?圖神經(jīng)?絡(luò)作預(yù)測(cè)任務(wù) Setting up GNN prediction tasks |
| 圖神經(jīng)?絡(luò)理論 |
9.1.圖神經(jīng)?絡(luò)的表達(dá)? How expressive are GNN 9.2.如何設(shè)計(jì)強(qiáng)表達(dá)?圖神經(jīng)?絡(luò) |
| 知識(shí)圖譜 |
10.1.異構(gòu)和知識(shí)圖譜嵌? Heterogeneous and knowledge graph embedding 10.2.知識(shí)圖譜KG完全?法 Knowledge graph KG completion 10.3.多種知識(shí)圖譜完全?法 Knowledge graph completion |
| 知識(shí)圖譜推理 |
11.1.在知識(shí)圖譜上進(jìn)?推理 Reasoning in knowledge graphs 11.2.回答預(yù)測(cè)性查詢 Answering predictive queries 11.3.在知識(shí)圖譜上進(jìn)? Query2box 推理 Query2box reasoning over KGs |
| ?圖問(wèn)題 |
12.1.快速神經(jīng)?圖匹配和計(jì)數(shù) Fast Neural Subgraph Matching & Counting 12.2.神經(jīng)?圖匹配 Neural subgraph matching 12.3.查找頻繁?圖 Finding Frequent Subgraphs |
| ?絡(luò)社區(qū) |
13.1.?絡(luò)中的社區(qū)檢測(cè) Community Detection in Networks 13.2.?絡(luò)中的社區(qū) Network Communities 13.3.Louvain 算法 13.4.檢測(cè)重疊社區(qū) detecting overlapping communities |
| 圖?成模型 |
14.1.圖?成模型介紹 Generative Models for Graphs14.2.Erdos Renyi隨機(jī)圖 Erdos Renyi Random Graphs 14.3.?世界模型 The small world model 14.4.Kronecker 圖模型 |
| 深度圖?成模型 |
15.1.深度圖?成模型 Deep generative models for graphs 15.2.圖 RNN ?成逼真的圖 Graph RNN Generating Realistic Graphs 15.3.規(guī)?；驮u(píng)估圖?成 Scaling up and Evaluating Graph Gen 15.4.深度圖?成模型應(yīng)? |
| 圖模型的局限性和對(duì)抗訓(xùn)練 |
16.1.圖模型的局限性 16.2.節(jié)點(diǎn)位置感知的圖神經(jīng)?絡(luò) Position aware GNN 16.3.身份感知的圖神經(jīng)?絡(luò) Identity-Aware Graph Neural Networks 16.4.圖神經(jīng)?絡(luò)的健壯性（相對(duì)于對(duì)抗攻擊） Robustness of Graph Neural Networks |
| 圖模型的規(guī)模化 |
17.1.將圖形神經(jīng)?絡(luò)擴(kuò)展到?圖 Scaling up Graph Neural Networks to Large Graphs 17.2.GraphSAGE 鄰?采樣 GraphSAGE Neighbor Sampling 17.3.集群 GCN 規(guī)?；瘓D神經(jīng)?絡(luò) Cluster GCN Scaling up GNNs 17.4.通過(guò)簡(jiǎn)化圖神經(jīng)?絡(luò)實(shí)現(xiàn)規(guī)?；?Scaling up by Simplifying GNNs |
|
圖和圖神經(jīng)?絡(luò)發(fā)展 1.1.為何需要圖 復(fù)習(xí)/了解圖數(shù)據(jù)結(jié)構(gòu)，以及如何在圖數(shù)據(jù)上應(yīng)?機(jī)器學(xué)習(xí) 1.2.圖神經(jīng)?絡(luò)應(yīng)? 介紹圖神經(jīng)?絡(luò)的應(yīng)?場(chǎng)景和?式 1.3.圖的表示 Graph Representation |
|
圖神經(jīng)?絡(luò)基礎(chǔ) 2.1.傳統(tǒng)基于特征的?法：節(jié)點(diǎn) 2.2.傳統(tǒng)基于特征的?法：邊 2.3.傳統(tǒng)基于特征的?法：圖 |
|
圖嵌?向量 Graph Embedding 3.1.節(jié)點(diǎn)嵌?向量 Node Embeddings 3.2.節(jié)點(diǎn)嵌?的隨機(jī)游??法 Random walk approaches for node embeddings 3.3.圖整體的嵌?向量 Embedding entire graphs |
|
使?矩陣?具研究圖 4.1.PageRank：?jiǎn)栴}和?案 4.2.PageRank：如何解決 4.3.帶重啟的隨機(jī)遍歷 Random walk with restarts 4.4.矩陣分解和節(jié)點(diǎn)嵌? Matrix factorizing and node embedding |
|
圖神經(jīng)?絡(luò)預(yù)備 5.1.消息傳遞和節(jié)點(diǎn)分類 Message passing and node classification 5.2.關(guān)系和迭代分類 Relational and iterative classification5.3.集體分類 Collective classification |
|
圖神經(jīng)?絡(luò)?? 6.1.圖神經(jīng)?絡(luò)介紹 6.2.深度學(xué)習(xí)基礎(chǔ) 6.3.圖的深度學(xué)習(xí) Deep learning for graph |
|
圖神經(jīng)?絡(luò)概述 7.1.對(duì)GNN的?般觀點(diǎn) 7.2.單層GNN A single layer of a GNN 7.3.多層GNN Stacking layers of a GNN |
|
圖神經(jīng)?絡(luò)設(shè)計(jì)和訓(xùn)練 8.1.GNN的圖擴(kuò)展 Graph augmentation for GNNs 8.2.訓(xùn)練圖神經(jīng)?絡(luò) 8.3.?圖神經(jīng)?絡(luò)作預(yù)測(cè)任務(wù) Setting up GNN prediction tasks |
|
圖神經(jīng)?絡(luò)理論 9.1.圖神經(jīng)?絡(luò)的表達(dá)? How expressive are GNN 9.2.如何設(shè)計(jì)強(qiáng)表達(dá)?圖神經(jīng)?絡(luò) |
|
知識(shí)圖譜 10.1.異構(gòu)和知識(shí)圖譜嵌? Heterogeneous and knowledge graph embedding 10.2.知識(shí)圖譜KG完全?法 Knowledge graph KG completion 10.3.多種知識(shí)圖譜完全?法 Knowledge graph completion |
|
知識(shí)圖譜推理 11.1.在知識(shí)圖譜上進(jìn)?推理 Reasoning in knowledge graphs 11.2.回答預(yù)測(cè)性查詢 Answering predictive queries 11.3.在知識(shí)圖譜上進(jìn)? Query2box 推理 Query2box reasoning over KGs |
|
?圖問(wèn)題 12.1.快速神經(jīng)?圖匹配和計(jì)數(shù) Fast Neural Subgraph Matching & Counting 12.2.神經(jīng)?圖匹配 Neural subgraph matching 12.3.查找頻繁?圖 Finding Frequent Subgraphs |
|
?絡(luò)社區(qū) 13.1.?絡(luò)中的社區(qū)檢測(cè) Community Detection in Networks 13.2.?絡(luò)中的社區(qū) Network Communities 13.3.Louvain 算法 13.4.檢測(cè)重疊社區(qū) detecting overlapping communities |
|
圖?成模型 14.1.圖?成模型介紹 Generative Models for Graphs14.2.Erdos Renyi隨機(jī)圖 Erdos Renyi Random Graphs 14.3.?世界模型 The small world model 14.4.Kronecker 圖模型 |
|
深度圖?成模型 15.1.深度圖?成模型 Deep generative models for graphs 15.2.圖 RNN ?成逼真的圖 Graph RNN Generating Realistic Graphs 15.3.規(guī)?；驮u(píng)估圖?成 Scaling up and Evaluating Graph Gen 15.4.深度圖?成模型應(yīng)? |
|
圖模型的局限性和對(duì)抗訓(xùn)練 16.1.圖模型的局限性 16.2.節(jié)點(diǎn)位置感知的圖神經(jīng)?絡(luò) Position aware GNN 16.3.身份感知的圖神經(jīng)?絡(luò) Identity-Aware Graph Neural Networks 16.4.圖神經(jīng)?絡(luò)的健壯性（相對(duì)于對(duì)抗攻擊） Robustness of Graph Neural Networks |
|
圖模型的規(guī)?；? 17.1.將圖形神經(jīng)?絡(luò)擴(kuò)展到?圖 Scaling up Graph Neural Networks to Large Graphs 17.2.GraphSAGE 鄰?采樣 GraphSAGE Neighbor Sampling 17.3.集群 GCN 規(guī)模化圖神經(jīng)?絡(luò) Cluster GCN Scaling up GNNs 17.4.通過(guò)簡(jiǎn)化圖神經(jīng)?絡(luò)實(shí)現(xiàn)規(guī)?；?Scaling up by Simplifying GNNs |
近期公開課推薦
