課程簡(jiǎn)介
大量大數(shù)據(jù)挖掘?qū)嵺`案例難點(diǎn)理論講述淺顯易懂?dāng)?shù)據(jù)挖掘算法講述會(huì)超出傳統(tǒng)教科書(shū)的講解范疇，不會(huì)贅述具體經(jīng)典算法，而是講述經(jīng)典課本上不會(huì)出現(xiàn)的適應(yīng)大數(shù)據(jù)背景下數(shù)據(jù)挖掘的實(shí)用新技術(shù)
目標(biāo)收益
本課程將圍繞大數(shù)據(jù)最本質(zhì)的特點(diǎn)—智能化為主線，從大數(shù)據(jù)的產(chǎn)品思維、數(shù)據(jù)分析重要工具、數(shù)據(jù)挖掘核心技術(shù)等層面，從瀏覽型互聯(lián)網(wǎng)應(yīng)用、社交網(wǎng)絡(luò)型互聯(lián)網(wǎng)應(yīng)用等多角度多領(lǐng)域做實(shí)站案例講解。
該課程使學(xué)員：理解大數(shù)據(jù)基本概率、理解大數(shù)據(jù)產(chǎn)品設(shè)計(jì)思維、理解大數(shù)據(jù)基礎(chǔ)技術(shù)架構(gòu)
掌握社交圖譜挖掘的一到兩個(gè)經(jīng)典數(shù)據(jù)挖掘案例的解決方案
掌握社交好友推薦中一到兩個(gè)經(jīng)典案例的解決方案
掌握如何搭建一個(gè)實(shí)用的推薦引擎的方法；
掌握數(shù)據(jù)挖掘的經(jīng)典方法論：數(shù)據(jù)挖掘過(guò)程、模型評(píng)估標(biāo)準(zhǔn)等
側(cè)重掌握最普遍使用的分類(lèi)預(yù)測(cè)技術(shù)的方法，輕松理解分類(lèi)預(yù)測(cè)技術(shù)的重難點(diǎn)主題及一些新技術(shù)：模型優(yōu)化的原理、Overfitting和Un
培訓(xùn)對(duì)象
數(shù)據(jù)挖掘工程師、數(shù)據(jù)分析師、大數(shù)據(jù)工程師、算法專(zhuān)家、項(xiàng)目經(jīng)理、技術(shù)經(jīng)理、數(shù)據(jù)產(chǎn)品經(jīng)理以及其他具有一定數(shù)據(jù)挖掘經(jīng)驗(yàn)的人員。
課程大綱
| 1.大數(shù)據(jù)時(shí)代概述 |
1.1 大數(shù)據(jù)解決的問(wèn)題是什么？ 1.2 大數(shù)據(jù)公司（部門(mén)）的都在做什么？ 1.3 如何建立自己的大數(shù)據(jù)能力？ |
| 2.數(shù)據(jù)挖掘基礎(chǔ)及Weka 工具使用 |
2.1 數(shù)據(jù)挖掘過(guò)程與挖掘工具Weka使用實(shí)踐 2.1.1 Weka介紹 2.1.2 數(shù)據(jù)格式 2.1.3 數(shù)據(jù)準(zhǔn)備 2.1.4 選擇算法 2.1.5 模型訓(xùn)練 2.1.6 模型評(píng)估 2.1.7 模型應(yīng)用 2.1.8 使用命令行 2.1.9 Weka使用舉例：金融服務(wù)中用戶信譽(yù)評(píng)估 2.2 數(shù)據(jù)挖掘模型評(píng)估方法 2.2.1 Training–Testing 2.2.2 Cross Validation 2.2.3 基于用戶和PM反饋的評(píng)估 2.2.4 如何選擇合適的數(shù)據(jù)挖掘評(píng)估方法：案例講解 2.3 數(shù)據(jù)挖掘的模型評(píng)估指標(biāo) 2.3.1 Confusion Matrix 2.3.2 Accuracy和Error Rate 2.3.3 Precision和Recall 2.3.4 F-measure 2.3.5 Specificity、Sensitivity和G-mean 2.3.6 ROC和AUC 2.3.7 MSE和RMSE 2.3.8 如何選擇合適的數(shù)據(jù)挖掘評(píng)估指標(biāo)：案例講解 |
| 3. 如何研發(fā)大數(shù)據(jù)算法：以數(shù)據(jù)分類(lèi)挖掘新技術(shù)為例 |
3.1 工業(yè)界應(yīng)用舉例 3.1.1 計(jì)算廣告 3.1.2 好友推薦系統(tǒng) 3.2 分類(lèi)挖掘原理探索：經(jīng)典的單模型方法 3.2.1 分類(lèi)學(xué)習(xí)的根源問(wèn)題及解決 3.2.2 Bias、Variance困境 3.2.3 均衡Overfitting和Under fitting 3.3 分類(lèi)學(xué)習(xí)根源問(wèn)題的更好解決方案：多模型方法 3.4 多模型重要算法匯總 3.4.1 Ensemble Selection 3.4.2 Bagging 3.4.3 Random Forest 3.4.4 Random Decision Tree(RDT) 3.4.5 Boosting 3.4.6 Meta-learning 3.4.7 Error-Correcting Output Codes(ECOC) 3.4.8 多模型與單模型方法的比較：Weka案例講解 3.5 如何研發(fā)一個(gè)新的數(shù)據(jù)挖掘算法：案例講解 3.5.1 創(chuàng)新一個(gè)新數(shù)據(jù)挖掘算法的過(guò)程 3.5.1.1 需求驅(qū)動(dòng)的算法優(yōu)化和創(chuàng)新 3.5.1.2 理論驅(qū)動(dòng)的算法優(yōu)化和創(chuàng)新 3.5.1.3 算法建模 3.5.1.4 算法實(shí)驗(yàn)驗(yàn)證 3.5.1.5 算法上線 3.5.2 Dynamic Data Mining（DDM）：分而治之的多模型框架研發(fā)過(guò)程 3.5.2.1 理論驅(qū)動(dòng) 3.5.2.2 DMM建模研發(fā) 3.5.2.3 算法驗(yàn)證及上線 |
| 4.以大數(shù)據(jù)挖掘?yàn)橹行牡耐扑]引擎實(shí)戰(zhàn) |
4.1 推薦引擎解決的問(wèn)題 4.2 推薦系統(tǒng)歷史 4.3 通用推薦引擎基礎(chǔ)架構(gòu) 4.3.1 統(tǒng)一展示邏輯 4.3.2 實(shí)驗(yàn)分流平臺(tái) 4.3.3 推薦結(jié)果預(yù)處理 4.3.4 推薦結(jié)果召回 4.3.5 推薦過(guò)濾去重 4.3.6 推薦排序 4.3.7 推薦解釋 4.3.8 實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái) 4.3.9 系統(tǒng)監(jiān)控平臺(tái) 4.3.10 數(shù)據(jù)挖掘和推薦算法管理 4.4 社會(huì)化推薦引擎 4.4.1 好友推薦使用場(chǎng)景舉例 4.4.2 好友推薦主要挑戰(zhàn) 4.4.3 好友推薦引擎架構(gòu) 4.5 社會(huì)化推薦引擎算法案例講解 4.5.1 Online Learning的特點(diǎn)和一般流程 4.5.1.1 在線挖掘數(shù)據(jù)特點(diǎn) 4.5.1.2 在線挖掘基本過(guò)程 4.5.2 二度好友模型：案例講解 4.5.2.1 二度好友模型解決的問(wèn)題 4.5.2.2 二度好友模型的建模過(guò)程 4.5.2.3 二度好友模型的效果評(píng)估 4.5.3 好友簇算法：案例講解 4.5.3.1 好友簇算法解決的問(wèn)題 4.5.3.2 聚類(lèi)方法原理 4.5.3.3 好友簇算法的建模過(guò)程 4.5.3.4 好友簇算法的效果評(píng)估 4.5.4 加好友申請(qǐng)接受率預(yù)估模型：案例講解 4.5.4.1 加好友申請(qǐng)接受率預(yù)估解決的問(wèn)題 4.5.4.2 加好友申請(qǐng)接受率預(yù)估的建模過(guò)程 4.5.4.3 加好友申請(qǐng)接受率預(yù)估的效果評(píng)估 |
| 5.以大數(shù)據(jù)為中心的社交網(wǎng)絡(luò)應(yīng)用挖掘?qū)崙?zhàn) |
5.1 社交圖譜挖掘介紹 5.1.1 社交網(wǎng)絡(luò)數(shù)據(jù)挑戰(zhàn) 5.1.2 社交網(wǎng)絡(luò)中的數(shù)據(jù)挖掘意義 5.1.3 社交圖譜挖掘主要任務(wù) 5.1.4 社交圖譜挖掘通用路標(biāo) 5.2 社交圖譜挖掘案例講解：好友親密度模型 5.2.1 好友親密度模型的意義 5.2.2 經(jīng)典用戶行為分析建模方法簡(jiǎn)介 5.2.3 好友親密度建模過(guò)程 5.2.4 好友親密度模型效果分析 5.3 社交圖譜挖掘案例講解：好友自動(dòng)分組 5.3.1 好友智能分組的意義 5.3.2 社區(qū)發(fā)現(xiàn)簡(jiǎn)介 5.3.3 好友自動(dòng)分組建模過(guò)程 5.3.4 好友自動(dòng)分組效果評(píng)估 |
| 6.以大數(shù)據(jù)為中心的瀏覽型和金融支付保險(xiǎn)型互聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)挖掘?qū)崙?zhàn) |
6.1 互聯(lián)網(wǎng)應(yīng)用的分類(lèi) 6.2 流量型應(yīng)用中的大數(shù)據(jù)應(yīng)用實(shí)例 6.3.1 全局唯一用戶識(shí)別GUID 6.3.2 用戶及業(yè)務(wù)畫(huà)像 6.3.3 CTR預(yù)估 |
| 7.學(xué)員問(wèn)題解答 |
|
1.大數(shù)據(jù)時(shí)代概述 1.1 大數(shù)據(jù)解決的問(wèn)題是什么？ 1.2 大數(shù)據(jù)公司（部門(mén)）的都在做什么？ 1.3 如何建立自己的大數(shù)據(jù)能力？ |
|
2.數(shù)據(jù)挖掘基礎(chǔ)及Weka 工具使用 2.1 數(shù)據(jù)挖掘過(guò)程與挖掘工具Weka使用實(shí)踐 2.1.1 Weka介紹 2.1.2 數(shù)據(jù)格式 2.1.3 數(shù)據(jù)準(zhǔn)備 2.1.4 選擇算法 2.1.5 模型訓(xùn)練 2.1.6 模型評(píng)估 2.1.7 模型應(yīng)用 2.1.8 使用命令行 2.1.9 Weka使用舉例：金融服務(wù)中用戶信譽(yù)評(píng)估 2.2 數(shù)據(jù)挖掘模型評(píng)估方法 2.2.1 Training–Testing 2.2.2 Cross Validation 2.2.3 基于用戶和PM反饋的評(píng)估 2.2.4 如何選擇合適的數(shù)據(jù)挖掘評(píng)估方法：案例講解 2.3 數(shù)據(jù)挖掘的模型評(píng)估指標(biāo) 2.3.1 Confusion Matrix 2.3.2 Accuracy和Error Rate 2.3.3 Precision和Recall 2.3.4 F-measure 2.3.5 Specificity、Sensitivity和G-mean 2.3.6 ROC和AUC 2.3.7 MSE和RMSE 2.3.8 如何選擇合適的數(shù)據(jù)挖掘評(píng)估指標(biāo)：案例講解 |
|
3. 如何研發(fā)大數(shù)據(jù)算法：以數(shù)據(jù)分類(lèi)挖掘新技術(shù)為例 3.1 工業(yè)界應(yīng)用舉例 3.1.1 計(jì)算廣告 3.1.2 好友推薦系統(tǒng) 3.2 分類(lèi)挖掘原理探索：經(jīng)典的單模型方法 3.2.1 分類(lèi)學(xué)習(xí)的根源問(wèn)題及解決 3.2.2 Bias、Variance困境 3.2.3 均衡Overfitting和Under fitting 3.3 分類(lèi)學(xué)習(xí)根源問(wèn)題的更好解決方案：多模型方法 3.4 多模型重要算法匯總 3.4.1 Ensemble Selection 3.4.2 Bagging 3.4.3 Random Forest 3.4.4 Random Decision Tree(RDT) 3.4.5 Boosting 3.4.6 Meta-learning 3.4.7 Error-Correcting Output Codes(ECOC) 3.4.8 多模型與單模型方法的比較：Weka案例講解 3.5 如何研發(fā)一個(gè)新的數(shù)據(jù)挖掘算法：案例講解 3.5.1 創(chuàng)新一個(gè)新數(shù)據(jù)挖掘算法的過(guò)程 3.5.1.1 需求驅(qū)動(dòng)的算法優(yōu)化和創(chuàng)新 3.5.1.2 理論驅(qū)動(dòng)的算法優(yōu)化和創(chuàng)新 3.5.1.3 算法建模 3.5.1.4 算法實(shí)驗(yàn)驗(yàn)證 3.5.1.5 算法上線 3.5.2 Dynamic Data Mining（DDM）：分而治之的多模型框架研發(fā)過(guò)程 3.5.2.1 理論驅(qū)動(dòng) 3.5.2.2 DMM建模研發(fā) 3.5.2.3 算法驗(yàn)證及上線 |
|
4.以大數(shù)據(jù)挖掘?yàn)橹行牡耐扑]引擎實(shí)戰(zhàn) 4.1 推薦引擎解決的問(wèn)題 4.2 推薦系統(tǒng)歷史 4.3 通用推薦引擎基礎(chǔ)架構(gòu) 4.3.1 統(tǒng)一展示邏輯 4.3.2 實(shí)驗(yàn)分流平臺(tái) 4.3.3 推薦結(jié)果預(yù)處理 4.3.4 推薦結(jié)果召回 4.3.5 推薦過(guò)濾去重 4.3.6 推薦排序 4.3.7 推薦解釋 4.3.8 實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái) 4.3.9 系統(tǒng)監(jiān)控平臺(tái) 4.3.10 數(shù)據(jù)挖掘和推薦算法管理 4.4 社會(huì)化推薦引擎 4.4.1 好友推薦使用場(chǎng)景舉例 4.4.2 好友推薦主要挑戰(zhàn) 4.4.3 好友推薦引擎架構(gòu) 4.5 社會(huì)化推薦引擎算法案例講解 4.5.1 Online Learning的特點(diǎn)和一般流程 4.5.1.1 在線挖掘數(shù)據(jù)特點(diǎn) 4.5.1.2 在線挖掘基本過(guò)程 4.5.2 二度好友模型：案例講解 4.5.2.1 二度好友模型解決的問(wèn)題 4.5.2.2 二度好友模型的建模過(guò)程 4.5.2.3 二度好友模型的效果評(píng)估 4.5.3 好友簇算法：案例講解 4.5.3.1 好友簇算法解決的問(wèn)題 4.5.3.2 聚類(lèi)方法原理 4.5.3.3 好友簇算法的建模過(guò)程 4.5.3.4 好友簇算法的效果評(píng)估 4.5.4 加好友申請(qǐng)接受率預(yù)估模型：案例講解 4.5.4.1 加好友申請(qǐng)接受率預(yù)估解決的問(wèn)題 4.5.4.2 加好友申請(qǐng)接受率預(yù)估的建模過(guò)程 4.5.4.3 加好友申請(qǐng)接受率預(yù)估的效果評(píng)估 |
|
5.以大數(shù)據(jù)為中心的社交網(wǎng)絡(luò)應(yīng)用挖掘?qū)崙?zhàn) 5.1 社交圖譜挖掘介紹 5.1.1 社交網(wǎng)絡(luò)數(shù)據(jù)挑戰(zhàn) 5.1.2 社交網(wǎng)絡(luò)中的數(shù)據(jù)挖掘意義 5.1.3 社交圖譜挖掘主要任務(wù) 5.1.4 社交圖譜挖掘通用路標(biāo) 5.2 社交圖譜挖掘案例講解：好友親密度模型 5.2.1 好友親密度模型的意義 5.2.2 經(jīng)典用戶行為分析建模方法簡(jiǎn)介 5.2.3 好友親密度建模過(guò)程 5.2.4 好友親密度模型效果分析 5.3 社交圖譜挖掘案例講解：好友自動(dòng)分組 5.3.1 好友智能分組的意義 5.3.2 社區(qū)發(fā)現(xiàn)簡(jiǎn)介 5.3.3 好友自動(dòng)分組建模過(guò)程 5.3.4 好友自動(dòng)分組效果評(píng)估 |
|
6.以大數(shù)據(jù)為中心的瀏覽型和金融支付保險(xiǎn)型互聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)挖掘?qū)崙?zhàn) 6.1 互聯(lián)網(wǎng)應(yīng)用的分類(lèi) 6.2 流量型應(yīng)用中的大數(shù)據(jù)應(yīng)用實(shí)例 6.3.1 全局唯一用戶識(shí)別GUID 6.3.2 用戶及業(yè)務(wù)畫(huà)像 6.3.3 CTR預(yù)估 |
|
7.學(xué)員問(wèn)題解答 |
近期公開(kāi)課推薦
