課程簡介
本課程有2位老師共同授課（X. Liu & Z. Tan）
大數(shù)據(jù)短短數(shù)年之間，就從概念的萌芽，到現(xiàn)在的蓬勃發(fā)展，再到最近被納入十三五國家戰(zhàn)略，僅僅花費(fèi)了數(shù)年的時間。那大數(shù)據(jù)到底有何魔力？又能改變什么？在這個大數(shù)據(jù)時代，借力大數(shù)據(jù)技術(shù)，快速發(fā)現(xiàn)問題，解決問題，發(fā)掘需求，創(chuàng)造需求，是互聯(lián)網(wǎng)+成功企業(yè)中的重要一環(huán)。如何讓公司插上大數(shù)據(jù)的翅膀，借助大數(shù)據(jù)從用戶反饋、產(chǎn)品改進(jìn)、高層決策、精準(zhǔn)營銷、生態(tài)建設(shè)等方方面面來大幅提升企業(yè)的競爭力？本課程將從零開始一步一步引導(dǎo)你，如何搭建一個功能完善的大數(shù)據(jù)平臺，如何做好數(shù)據(jù)分析工作，以及如何進(jìn)一步挖掘出數(shù)據(jù)的價值。本課程的每一部分都注重理論的引導(dǎo)與實際經(jīng)驗的結(jié)合，深入淺出，涵蓋技術(shù)的原理，歷史起源、后續(xù)發(fā)展，并注重與實例的結(jié)合，具有很強(qiáng)的實用性。
目標(biāo)收益
課程中的內(nèi)容涵蓋理論和經(jīng)驗，是作者們在大數(shù)據(jù)行業(yè)長年摸爬滾打出來的最佳實踐的總結(jié)。經(jīng)過這些課程培訓(xùn)，可以使學(xué)員能夠?qū)Υ髷?shù)據(jù)體系有全面而又清晰的認(rèn)識，了解從平臺搭建、到數(shù)據(jù)分析再到數(shù)據(jù)價值的挖掘各個方面的實用知識，可以即刻在實際工作中學(xué)以致用，運(yùn)用大數(shù)據(jù)理論、方法來提升部門或公司的業(yè)績。
培訓(xùn)對象
1． 小型企業(yè)的技術(shù)負(fù)責(zé)人；
2. 大中型企業(yè)的數(shù)據(jù)部門相關(guān)人員、或是對數(shù)據(jù)感興趣的其他部門的研發(fā)總監(jiān)、部門經(jīng)理、一線研發(fā)工程師等人員均可；
課程內(nèi)容
X. Liu ——大數(shù)據(jù)架構(gòu)師，數(shù)據(jù)平臺群組經(jīng)理
數(shù)據(jù)架構(gòu)師，系統(tǒng)分析師，專注于數(shù)據(jù)平臺和數(shù)據(jù)價值類工作已經(jīng)8年有余，曾多次在全國范圍內(nèi)給業(yè)界分享大數(shù)據(jù)實踐經(jīng)驗。目前在廣發(fā)證券擔(dān)任大數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)平臺經(jīng)理。曾任職于騰訊微信、騰訊數(shù)據(jù)平臺、魅族數(shù)據(jù)團(tuán)隊、盛大數(shù)據(jù)中心等。項目方面，作為骨干員工參與過騰訊TDW分布式數(shù)據(jù)倉庫建設(shè)和微信數(shù)據(jù)分析；作為tech lead，幫助廣發(fā)、盛大和魅族等企業(yè)從零開始搭建了大數(shù)據(jù)平臺，并利用該平臺協(xié)助上述企業(yè)將數(shù)據(jù)價值落地。
Z. Tan 博士 —— CTO，算法專家
專注于機(jī)器學(xué)習(xí)與人工智能技術(shù)，09年在香港大學(xué)取得博士，曾任職香港ASTRI（香港應(yīng)用科技研究院）、StatsMaster等單位。在StatsMaster任職Senior Researcher期間，作為Technical Leader帶領(lǐng)團(tuán)隊開發(fā)了體育視頻智能分析系統(tǒng)，申請了多項與模式識別、智能分析相關(guān)的專利。曾作為魅族算法團(tuán)隊負(fù)責(zé)人，幫助魅族從無到有建立了推薦系統(tǒng)、輿情分析系統(tǒng)、與廣告競價系統(tǒng)等多套數(shù)據(jù)算法。目前在一家初創(chuàng)VR企業(yè)擔(dān)任CTO職位。
課程大綱
| 數(shù)據(jù)平臺 |
1. 引言：大數(shù)據(jù)的基本概念、歷史和發(fā)展 從傳統(tǒng)數(shù)據(jù)倉庫概念，如何演進(jìn)到大數(shù)據(jù)的概念，以及大數(shù)據(jù)的4V等特性；傳統(tǒng)數(shù)據(jù)倉庫技術(shù)體系和大數(shù)據(jù)之間有什么區(qū)別？現(xiàn)在大數(shù)據(jù)帶來了哪些改變，以及今后大數(shù)據(jù)會如何發(fā)展，如何改變我們的生活？ 2. 大數(shù)據(jù)平臺整體組成 要想玩轉(zhuǎn)大數(shù)據(jù)，平臺至關(guān)重要。如何從零開始一步一步搭建一個大數(shù)據(jù)平臺？它由哪些部分組成？每個部分的功能定義是什么、為什么這么設(shè)計？ 3. 大數(shù)據(jù)平臺的核心“三大件”原理和架構(gòu) 大數(shù)據(jù)平臺最核心的三個組件當(dāng)屬數(shù)據(jù)計算和存儲系統(tǒng)、數(shù)據(jù)任務(wù)調(diào)度系統(tǒng)、數(shù)據(jù)交換和傳輸系統(tǒng)了。這三個系統(tǒng)的工作原理和詳細(xì)架構(gòu)是怎樣？在實踐中會遇到哪些問題？如何提高他們的性能？ 4. 大數(shù)據(jù)平臺組件的延伸以及拓展 要想真正發(fā)揮大數(shù)據(jù)平臺的威力，除了大數(shù)據(jù)平臺核心“三大件”以外，其他組件也必不可少，比如元數(shù)據(jù)管理系統(tǒng)、集成開發(fā)平臺、報表組件、數(shù)據(jù)質(zhì)量管理系統(tǒng)、權(quán)限系統(tǒng)、數(shù)據(jù)安全管理、統(tǒng)一監(jiān)控和告警系統(tǒng)等等。這些系統(tǒng)該按照什么樣的順序搭建？如何決定這些系統(tǒng)的技術(shù)路線？如何打通這么多子系統(tǒng)，讓大數(shù)據(jù)平臺成為一個整體？ 5. 大數(shù)據(jù)實時處理系統(tǒng)的案例實踐 隨著數(shù)據(jù)業(yè)務(wù)的發(fā)展，傳統(tǒng)T+1延遲的離線數(shù)據(jù)倉庫已經(jīng)不能滿足業(yè)務(wù)的需求，數(shù)據(jù)系統(tǒng)的實時性問題越來越被人們所關(guān)注。不過，提高數(shù)據(jù)的實時性勢必帶來很多新的挑戰(zhàn)，比如如何簡化實時系統(tǒng)的復(fù)雜度、如何保證其可靠性、如何降低實時數(shù)據(jù)開發(fā)難度、如何平衡成本和性能等等。本小節(jié)將以一個實際的案例為基礎(chǔ)，講授如何打造一個高效、可靠的大數(shù)據(jù)實時處理系統(tǒng)。 |
| 數(shù)據(jù)分析與數(shù)據(jù)價值 |
1. 引言：大數(shù)據(jù)分析方法論以及幾個案例 本章將通過幾個數(shù)據(jù)分析的實際案例/故事，來講述數(shù)據(jù)分析過程中可能會遇到的困難、怎樣去解決這些困難、并由此總結(jié)出幾種實用的數(shù)據(jù)分析解決方案。 2. 如何讓數(shù)據(jù)價值在企業(yè)落地 很多企業(yè)都有大數(shù)據(jù)落地難的問題。明明投入了這么多，但很少發(fā)現(xiàn)有價值的產(chǎn)出。是什么原因造成了這樣的困境？如何擺脫這樣的困境，行之有效的實現(xiàn)數(shù)據(jù)價值的最大化？ 3. 數(shù)據(jù)價值的不同場景和不同維度，以及案例分析 數(shù)據(jù)價值在不同場景下有不同的表現(xiàn)，同時也有不同的維度去度量它。本小節(jié)將帶來數(shù)個案例，分別講述在不同場景、不同維度下如何讓數(shù)據(jù)產(chǎn)生價值。讓聽課者能夠場景化的體會數(shù)據(jù)價值的落地過程。 4. 大數(shù)據(jù)建模 如何從一個實際的業(yè)務(wù)問題出發(fā)，完成從領(lǐng)域模型到數(shù)據(jù)模型的轉(zhuǎn)換：需要收集哪些數(shù)據(jù)，定義哪些關(guān)鍵指標(biāo)，以及何組織和存儲這些數(shù)據(jù)。 5. 如何打造數(shù)據(jù)團(tuán)隊 數(shù)據(jù)團(tuán)隊在發(fā)展過程中，不同時期的人員構(gòu)成比例是怎樣的；和一般的團(tuán)隊相比，數(shù)據(jù)團(tuán)隊有哪些特點；如何樹立團(tuán)隊的影響力、以及和其他團(tuán)隊/部門的溝通技巧等。 6. 數(shù)據(jù)思維 數(shù)據(jù)思維是什么？如何讓大家都會用數(shù)據(jù)、懂?dāng)?shù)據(jù)？如何去培養(yǎng)全員的數(shù)據(jù)思維？有了數(shù)據(jù)思維有什么好處？ |
| 數(shù)據(jù)挖掘 |
1. 引言：數(shù)據(jù)挖掘中的務(wù)實與務(wù)虛 通過數(shù)據(jù)挖掘的獲得的價值有很多，表現(xiàn)在很多方面，總體歸結(jié)為實與虛兩類。本小節(jié)將講訴什么是務(wù)實？什么是務(wù)虛？并以幾個案例展開闡述在公司不同的發(fā)展階段，該如何實現(xiàn)務(wù)實業(yè)務(wù)與務(wù)虛業(yè)務(wù)的最佳結(jié)合。 2. 無監(jiān)督機(jī)器學(xué)習(xí)及案例 無監(jiān)督機(jī)器學(xué)習(xí)技術(shù)常常用于數(shù)據(jù)的探索、降維，本小節(jié)著重描述數(shù)據(jù)挖掘中常常用到的哪些無監(jiān)督學(xué)習(xí)方法及技術(shù)。將結(jié)合多個案例，介紹幾種無監(jiān)督學(xué)習(xí)技術(shù)的原理、工具以及應(yīng)用實例。 3. 有監(jiān)督機(jī)器學(xué)習(xí)及案例 有監(jiān)督機(jī)器學(xué)習(xí)技術(shù)在數(shù)據(jù)挖掘中占有重要的地位，它通過學(xué)習(xí)歷史數(shù)據(jù)來建立各種預(yù)測模型。本小節(jié)重點闡述數(shù)據(jù)挖掘中常常用到的有監(jiān)督學(xué)習(xí)方法、技術(shù)及工具。將結(jié)合多個案例，介紹多種有監(jiān)督學(xué)習(xí)技術(shù)的原理、工具以及案例。 4. 個性化推薦系統(tǒng)：不同業(yè)務(wù)場景下的個性化推薦解決方案 在各大互聯(lián)網(wǎng)公司中，個性化推薦往往是使用最廣泛的數(shù)據(jù)挖掘應(yīng)用。本文講從詳細(xì)闡述個性化推薦系統(tǒng)的歷史發(fā)展、原理、常用技術(shù)，并結(jié)合幾種不同業(yè)務(wù)場景，詳細(xì)介紹如何搭建適合不同業(yè)務(wù)場景下個性化推薦系統(tǒng)。 5. 深度學(xué)習(xí)及案例 深度學(xué)習(xí)是近十年人工智能領(lǐng)域中取得的一個重大突破。它的出現(xiàn)極大的增強(qiáng)了對數(shù)據(jù)的理解力。本小節(jié)將結(jié)合案例簡要介紹深度學(xué)習(xí)的發(fā)展歷史、原理、難點、常用工具以及相關(guān)應(yīng)用。 6. 綜合案例：從海量互聯(lián)網(wǎng)數(shù)據(jù)中挖掘有用的輿情信息 本文將以一個完整的輿情分析系統(tǒng)為案例，系統(tǒng)性的闡述了如何將以上學(xué)習(xí)到的無監(jiān)督學(xué)習(xí)技術(shù)、有監(jiān)督學(xué)習(xí)技術(shù)以及深度學(xué)習(xí)技術(shù)結(jié)合起來，建立一個實用的、功能完備的數(shù)據(jù)挖掘系統(tǒng)。 |
|
數(shù)據(jù)平臺 1. 引言：大數(shù)據(jù)的基本概念、歷史和發(fā)展 從傳統(tǒng)數(shù)據(jù)倉庫概念，如何演進(jìn)到大數(shù)據(jù)的概念，以及大數(shù)據(jù)的4V等特性；傳統(tǒng)數(shù)據(jù)倉庫技術(shù)體系和大數(shù)據(jù)之間有什么區(qū)別？現(xiàn)在大數(shù)據(jù)帶來了哪些改變，以及今后大數(shù)據(jù)會如何發(fā)展，如何改變我們的生活？ 2. 大數(shù)據(jù)平臺整體組成 要想玩轉(zhuǎn)大數(shù)據(jù)，平臺至關(guān)重要。如何從零開始一步一步搭建一個大數(shù)據(jù)平臺？它由哪些部分組成？每個部分的功能定義是什么、為什么這么設(shè)計？ 3. 大數(shù)據(jù)平臺的核心“三大件”原理和架構(gòu) 大數(shù)據(jù)平臺最核心的三個組件當(dāng)屬數(shù)據(jù)計算和存儲系統(tǒng)、數(shù)據(jù)任務(wù)調(diào)度系統(tǒng)、數(shù)據(jù)交換和傳輸系統(tǒng)了。這三個系統(tǒng)的工作原理和詳細(xì)架構(gòu)是怎樣？在實踐中會遇到哪些問題？如何提高他們的性能？ 4. 大數(shù)據(jù)平臺組件的延伸以及拓展 要想真正發(fā)揮大數(shù)據(jù)平臺的威力，除了大數(shù)據(jù)平臺核心“三大件”以外，其他組件也必不可少，比如元數(shù)據(jù)管理系統(tǒng)、集成開發(fā)平臺、報表組件、數(shù)據(jù)質(zhì)量管理系統(tǒng)、權(quán)限系統(tǒng)、數(shù)據(jù)安全管理、統(tǒng)一監(jiān)控和告警系統(tǒng)等等。這些系統(tǒng)該按照什么樣的順序搭建？如何決定這些系統(tǒng)的技術(shù)路線？如何打通這么多子系統(tǒng)，讓大數(shù)據(jù)平臺成為一個整體？ 5. 大數(shù)據(jù)實時處理系統(tǒng)的案例實踐 隨著數(shù)據(jù)業(yè)務(wù)的發(fā)展，傳統(tǒng)T+1延遲的離線數(shù)據(jù)倉庫已經(jīng)不能滿足業(yè)務(wù)的需求，數(shù)據(jù)系統(tǒng)的實時性問題越來越被人們所關(guān)注。不過，提高數(shù)據(jù)的實時性勢必帶來很多新的挑戰(zhàn)，比如如何簡化實時系統(tǒng)的復(fù)雜度、如何保證其可靠性、如何降低實時數(shù)據(jù)開發(fā)難度、如何平衡成本和性能等等。本小節(jié)將以一個實際的案例為基礎(chǔ)，講授如何打造一個高效、可靠的大數(shù)據(jù)實時處理系統(tǒng)。 |
|
數(shù)據(jù)分析與數(shù)據(jù)價值 1. 引言：大數(shù)據(jù)分析方法論以及幾個案例 本章將通過幾個數(shù)據(jù)分析的實際案例/故事，來講述數(shù)據(jù)分析過程中可能會遇到的困難、怎樣去解決這些困難、并由此總結(jié)出幾種實用的數(shù)據(jù)分析解決方案。 2. 如何讓數(shù)據(jù)價值在企業(yè)落地 很多企業(yè)都有大數(shù)據(jù)落地難的問題。明明投入了這么多，但很少發(fā)現(xiàn)有價值的產(chǎn)出。是什么原因造成了這樣的困境？如何擺脫這樣的困境，行之有效的實現(xiàn)數(shù)據(jù)價值的最大化？ 3. 數(shù)據(jù)價值的不同場景和不同維度，以及案例分析 數(shù)據(jù)價值在不同場景下有不同的表現(xiàn)，同時也有不同的維度去度量它。本小節(jié)將帶來數(shù)個案例，分別講述在不同場景、不同維度下如何讓數(shù)據(jù)產(chǎn)生價值。讓聽課者能夠場景化的體會數(shù)據(jù)價值的落地過程。 4. 大數(shù)據(jù)建模 如何從一個實際的業(yè)務(wù)問題出發(fā)，完成從領(lǐng)域模型到數(shù)據(jù)模型的轉(zhuǎn)換：需要收集哪些數(shù)據(jù)，定義哪些關(guān)鍵指標(biāo)，以及何組織和存儲這些數(shù)據(jù)。 5. 如何打造數(shù)據(jù)團(tuán)隊 數(shù)據(jù)團(tuán)隊在發(fā)展過程中，不同時期的人員構(gòu)成比例是怎樣的；和一般的團(tuán)隊相比，數(shù)據(jù)團(tuán)隊有哪些特點；如何樹立團(tuán)隊的影響力、以及和其他團(tuán)隊/部門的溝通技巧等。 6. 數(shù)據(jù)思維 數(shù)據(jù)思維是什么？如何讓大家都會用數(shù)據(jù)、懂?dāng)?shù)據(jù)？如何去培養(yǎng)全員的數(shù)據(jù)思維？有了數(shù)據(jù)思維有什么好處？ |
|
數(shù)據(jù)挖掘 1. 引言：數(shù)據(jù)挖掘中的務(wù)實與務(wù)虛 通過數(shù)據(jù)挖掘的獲得的價值有很多，表現(xiàn)在很多方面，總體歸結(jié)為實與虛兩類。本小節(jié)將講訴什么是務(wù)實？什么是務(wù)虛？并以幾個案例展開闡述在公司不同的發(fā)展階段，該如何實現(xiàn)務(wù)實業(yè)務(wù)與務(wù)虛業(yè)務(wù)的最佳結(jié)合。 2. 無監(jiān)督機(jī)器學(xué)習(xí)及案例 無監(jiān)督機(jī)器學(xué)習(xí)技術(shù)常常用于數(shù)據(jù)的探索、降維，本小節(jié)著重描述數(shù)據(jù)挖掘中常常用到的哪些無監(jiān)督學(xué)習(xí)方法及技術(shù)。將結(jié)合多個案例，介紹幾種無監(jiān)督學(xué)習(xí)技術(shù)的原理、工具以及應(yīng)用實例。 3. 有監(jiān)督機(jī)器學(xué)習(xí)及案例 有監(jiān)督機(jī)器學(xué)習(xí)技術(shù)在數(shù)據(jù)挖掘中占有重要的地位，它通過學(xué)習(xí)歷史數(shù)據(jù)來建立各種預(yù)測模型。本小節(jié)重點闡述數(shù)據(jù)挖掘中常常用到的有監(jiān)督學(xué)習(xí)方法、技術(shù)及工具。將結(jié)合多個案例，介紹多種有監(jiān)督學(xué)習(xí)技術(shù)的原理、工具以及案例。 4. 個性化推薦系統(tǒng)：不同業(yè)務(wù)場景下的個性化推薦解決方案 在各大互聯(lián)網(wǎng)公司中，個性化推薦往往是使用最廣泛的數(shù)據(jù)挖掘應(yīng)用。本文講從詳細(xì)闡述個性化推薦系統(tǒng)的歷史發(fā)展、原理、常用技術(shù)，并結(jié)合幾種不同業(yè)務(wù)場景，詳細(xì)介紹如何搭建適合不同業(yè)務(wù)場景下個性化推薦系統(tǒng)。 5. 深度學(xué)習(xí)及案例 深度學(xué)習(xí)是近十年人工智能領(lǐng)域中取得的一個重大突破。它的出現(xiàn)極大的增強(qiáng)了對數(shù)據(jù)的理解力。本小節(jié)將結(jié)合案例簡要介紹深度學(xué)習(xí)的發(fā)展歷史、原理、難點、常用工具以及相關(guān)應(yīng)用。 6. 綜合案例：從海量互聯(lián)網(wǎng)數(shù)據(jù)中挖掘有用的輿情信息 本文將以一個完整的輿情分析系統(tǒng)為案例，系統(tǒng)性的闡述了如何將以上學(xué)習(xí)到的無監(jiān)督學(xué)習(xí)技術(shù)、有監(jiān)督學(xué)習(xí)技術(shù)以及深度學(xué)習(xí)技術(shù)結(jié)合起來，建立一個實用的、功能完備的數(shù)據(jù)挖掘系統(tǒng)。 |
近期公開課推薦
