架構(gòu)師
傳統(tǒng)金融
互聯(lián)網(wǎng)金融
推薦課程
average > 0 ? $model->average . '分' : '10.0分' ?>

大數(shù)據(jù)（Hadoop、Spark、NoSQL等）的技術(shù)與實(shí)踐

何逸凡

北京大學(xué) 架構(gòu)師

北京大學(xué)博士后，第一屆中國(guó)軟件業(yè)十大杰出青年候選人。
專(zhuān)著《不是三維——軟件項(xiàng)目的設(shè)計(jì)、開(kāi)發(fā)與管理》與《消息設(shè)計(jì)與開(kāi)發(fā)：分布式應(yīng)用開(kāi)發(fā)的核心技術(shù)》作者。
云計(jì)算數(shù)據(jù)基礎(chǔ)設(shè)施倡導(dǎo)者與研究者，第十六屆世界計(jì)算機(jī)大會(huì)電子商務(wù)大會(huì)數(shù)據(jù)管理分會(huì)主席，中國(guó)青年科技工作者協(xié)會(huì)第二屆會(huì)員，中小企業(yè)創(chuàng)新基金評(píng)審專(zhuān)家，中國(guó)軟件技術(shù)大會(huì)特邀講師。
現(xiàn)從事云計(jì)算，NoSQL與大數(shù)據(jù)，企業(yè)IT架構(gòu)、企業(yè)數(shù)據(jù)架構(gòu)以及信息系統(tǒng)設(shè)計(jì)開(kāi)發(fā)等方面的研究與實(shí)踐工作，涉及金融、電信及政府等多個(gè)行業(yè)。
曾任空間信息領(lǐng)域教師，獲福建省，山東省引進(jìn)高級(jí)人才計(jì)劃。1992年起從事軟件的設(shè)計(jì)、開(kāi)發(fā)與管理工作，自2002年起，在北美從事軟件系統(tǒng)分析與設(shè)計(jì)工作近七年之久，迄今為止，共負(fù)責(zé)、參與國(guó)內(nèi)外大中型軟件項(xiàng)目20多項(xiàng)，歷任中國(guó)大中型IT企業(yè)總工程師，技術(shù)管理部部長(zhǎng)，事業(yè)部副總經(jīng)理，BI首席架構(gòu)師，軟件開(kāi)發(fā)總監(jiān)及云計(jì)算與大數(shù)據(jù)首席架構(gòu)師等職。共在國(guó)內(nèi)外發(fā)表科技論文30余篇，多篇獲獎(jiǎng)，并被美國(guó)《工程索引》EI檢索6篇。

北京大學(xué)博士后，第一屆中國(guó)軟件業(yè)十大杰出青年候選人。 專(zhuān)著《不是三維——軟件項(xiàng)目的設(shè)計(jì)、開(kāi)發(fā)與管理》與《消息設(shè)計(jì)與開(kāi)發(fā)：分布式應(yīng)用開(kāi)發(fā)的核心技術(shù)》作者。 云計(jì)算數(shù)據(jù)基礎(chǔ)設(shè)施倡導(dǎo)者與研究者，第十六屆世界計(jì)算機(jī)大會(huì)電子商務(wù)大會(huì)數(shù)據(jù)管理分會(huì)主席，中國(guó)青年科技工作者協(xié)會(huì)第二屆會(huì)員，中小企業(yè)創(chuàng)新基金評(píng)審專(zhuān)家，中國(guó)軟件技術(shù)大會(huì)特邀講師。 現(xiàn)從事云計(jì)算，NoSQL與大數(shù)據(jù)，企業(yè)IT架構(gòu)、企業(yè)數(shù)據(jù)架構(gòu)以及信息系統(tǒng)設(shè)計(jì)開(kāi)發(fā)等方面的研究與實(shí)踐工作，涉及金融、電信及政府等多個(gè)行業(yè)。 曾任空間信息領(lǐng)域教師，獲福建省，山東省引進(jìn)高級(jí)人才計(jì)劃。1992年起從事軟件的設(shè)計(jì)、開(kāi)發(fā)與管理工作，自2002年起，在北美從事軟件系統(tǒng)分析與設(shè)計(jì)工作近七年之久，迄今為止，共負(fù)責(zé)、參與國(guó)內(nèi)外大中型軟件項(xiàng)目20多項(xiàng)，歷任中國(guó)大中型IT企業(yè)總工程師，技術(shù)管理部部長(zhǎng)，事業(yè)部副總經(jīng)理，BI首席架構(gòu)師，軟件開(kāi)發(fā)總監(jiān)及云計(jì)算與大數(shù)據(jù)首席架構(gòu)師等職。共在國(guó)內(nèi)外發(fā)表科技論文30余篇，多篇獲獎(jiǎng)，并被美國(guó)《工程索引》EI檢索6篇。

課程費(fèi)用

5800.00 /人

課程時(shí)長(zhǎng)

2天

成為教練

課程簡(jiǎn)介

目標(biāo)收益

通過(guò)該課程學(xué)習(xí)，洞悉Hadoop，NoSQL與Spark等技術(shù)的原理、架構(gòu)與技術(shù)手段；結(jié)合豐富實(shí)例掌握其設(shè)計(jì)與開(kāi)發(fā)方法，以及掌握如軟件架構(gòu)、性能調(diào)優(yōu)等使用過(guò)程中的實(shí)用技巧；深入了解Hadoop，NoSQL，Spark體系中各成員，理解Hadoop，NoSQL，Spark成員各自的優(yōu)、缺點(diǎn)與正確適用場(chǎng)景，了解技術(shù)最新發(fā)展動(dòng)向，能對(duì)Hadoop，NoSQL與Spark體系在學(xué)員企業(yè)、學(xué)員項(xiàng)目、學(xué)員研發(fā)中是否可用、如何定位以及如何使用做出正確判斷與學(xué)習(xí)，并且對(duì)如何結(jié)合大數(shù)據(jù)技術(shù)規(guī)劃企業(yè)數(shù)據(jù)架構(gòu)得到相當(dāng)?shù)膯l(fā)與收獲。

培訓(xùn)對(duì)象

企業(yè)中高層技術(shù)管理人員、企業(yè)技術(shù)戰(zhàn)略決策者、軟件架構(gòu)師、軟件研發(fā)人員與大數(shù)據(jù)技術(shù)愛(ài)好者，有大數(shù)據(jù)及海量數(shù)據(jù)管理與處理需求的企業(yè)優(yōu)先。

課程大綱

大數(shù)據(jù)時(shí)代關(guān)系數(shù)據(jù)庫(kù)的挑戰(zhàn)與應(yīng)對(duì) 1. 現(xiàn)代數(shù)據(jù)管理技術(shù)綜述
2. 關(guān)系數(shù)據(jù)庫(kù)技術(shù)的核心特征
3.主流關(guān)系數(shù)據(jù)庫(kù)的挑戰(zhàn)
4. 改進(jìn)型關(guān)系數(shù)據(jù)庫(kù)
大數(shù)據(jù)技術(shù)綜述 1. 大數(shù)據(jù)概念澄清
2. 大數(shù)據(jù)技術(shù)家族
3. NoSQL技術(shù)綜述
3.1最早的NoSQL---BDB
3.2 Hadoop之Hbase與Facebook之Cassandra
3.3 MongoDB與CouchDB
3.4Memcached與Redis
3.5圖形數(shù)據(jù)庫(kù)Neo4j
4. MapReduce
5.關(guān)系數(shù)據(jù)庫(kù)聯(lián)邦
6.海量分布式文件系統(tǒng)
7大數(shù)據(jù)技術(shù)理論基礎(chǔ)
CAP，BASE，ACID
Hadoop實(shí)用教程 1. Hadoop技術(shù)概論
1.1 Hadoop體系架構(gòu)總論
1.2 HDFS-工作原理與架構(gòu)
1.3 平民化的分布式計(jì)算MapReduce
1.4 MapReduce工作原理與架構(gòu)
1.5 Hadoop數(shù)據(jù)倉(cāng)庫(kù)-Hive
1.6 Hadoop NoSQL數(shù)據(jù)庫(kù)-HBase
1.7 工作流調(diào)度-Ooize
1.8 分布式協(xié)調(diào)系統(tǒng)--Zookeeper
2. Hadoop部署
2.1 Hadoop版本介紹與選擇
2.2 Hadoop部署實(shí)踐
2.3 Hadoop安裝文件構(gòu)成與配置體系
2.4 機(jī)器硬件建議配置
2.5 系統(tǒng)環(huán)境配置
2.6 基本參數(shù)配置與說(shuō)明
2.7 進(jìn)程分布規(guī)劃與啟動(dòng)
3. 分布式文件系統(tǒng)HDFS實(shí)用教程
3.1 HDFS操作
3.2 HDFS編程—文件讀寫(xiě)
3.3 HDFS數(shù)據(jù)壓縮
3.4 HDFS技術(shù)要點(diǎn)
4. MapReduce實(shí)用教程
4.1 MapReduce原理與架構(gòu)
4.2 MapReduce編程方法
4.3 MapReduce實(shí)用技術(shù)要點(diǎn)
4.4 MapReduce排序與關(guān)聯(lián)
4.5 MapReduce工作流
4.6 MapReduce調(diào)優(yōu)
5. MapReduce2.0-YARN
5.1 YARN的原理
5.2 YARN設(shè)計(jì)架構(gòu)
5.3 YARN工作流程
5.4 YARN與MapReduce1.0比較
6. MapReduce實(shí)例講解
6.1普通實(shí)例
6.2 高級(jí)實(shí)例
6.3 MapReduce高級(jí)數(shù)據(jù)分析（時(shí)間允許時(shí)）
7. Hadoop數(shù)據(jù)倉(cāng)庫(kù)Hive
7.1 Hive編程
7.2 Hive環(huán)境部署與搭建
7.3 Hive工作機(jī)制
7.4 Hive語(yǔ)法與實(shí)踐
8. 其它ZooKeeper，Sqoop，Chukwa，Avro……
Hadoop技術(shù)分析 1. Hadoop MapReduce技術(shù)解析
6.1關(guān)于效率
6.2關(guān)于擴(kuò)展性
6.3關(guān)于可靠性與可用性
6.4關(guān)于與關(guān)系數(shù)據(jù)庫(kù)
6.5關(guān)于適用的數(shù)據(jù)類(lèi)型
6.6關(guān)于數(shù)據(jù)存儲(chǔ)與管理
2. Hadoop與關(guān)系數(shù)據(jù)庫(kù)
2.1 MapReduce與關(guān)系數(shù)據(jù)庫(kù)
2.2 Hive與MPP關(guān)系數(shù)據(jù)庫(kù)
NoSQL實(shí)用教程 1.NoSQL理論基礎(chǔ)---CAP與BASE深入分析
2.NoSQL實(shí)用教程
2.1 HBase實(shí)用教程
2.1.1 HBase原理
2.1.2 HBase實(shí)用安裝部署要點(diǎn)
2.1.3 HBase數(shù)據(jù)模型
2.1.4 HBase索引與關(guān)聯(lián)的實(shí)現(xiàn)
2.1.5 HBase使用
2.1.6HBase性能調(diào)優(yōu)
2.1.7 HBase高級(jí)設(shè)計(jì)教程---如何真正用好HBase
2.1.8 HBase與關(guān)系數(shù)據(jù)庫(kù)結(jié)合
3. NoSQL設(shè)計(jì)實(shí)例
3.1 HBase實(shí)現(xiàn)全屬性查詢(xún)
3.2 HBase實(shí)現(xiàn)時(shí)間序列數(shù)據(jù)管理
3.3 HBase與MapReduce結(jié)合示例
4. Facebook Cassandra介紹
5.MongoDB介紹
6.圖數(shù)據(jù)庫(kù)Neo4J介紹
NoSQL技術(shù)分析 1. NoSQL技術(shù)手段總結(jié)
1.1 水平分割
1.2 數(shù)據(jù)副本與讀寫(xiě)一致性
1.3 In-Memory架構(gòu)
1.4 MVCC
1.5列存儲(chǔ)
1.6 COW
2. NoSQL技術(shù)解析
2.1 關(guān)于水平擴(kuò)展性
2.2關(guān)于模式自由
3. NoSQL與關(guān)系數(shù)據(jù)庫(kù)
3.1 理論原則分析
3.2 邏輯模型分析
3.3 物理模型分析
3.4 索引、事務(wù)與關(guān)聯(lián)
3.5 使用場(chǎng)景定位
3.6 企業(yè)數(shù)據(jù)體系定位
Spark教程 1. Spark組成與體系架構(gòu)
2. Spark原理
3. Spark與Hadoop
4. Scala簡(jiǎn)介
5. Spark技術(shù)流程
超越Hadoop 1. Hadoop技術(shù)體系的不足與尷尬
2. 新技術(shù)介紹
3. 互聯(lián)網(wǎng)技術(shù)體系介紹
4. 數(shù)據(jù)管理技術(shù)發(fā)展趨勢(shì)分析
大數(shù)據(jù)技術(shù)實(shí)踐分享 1. 海量數(shù)據(jù)處理架構(gòu)設(shè)計(jì)
2. 大數(shù)據(jù)驅(qū)動(dòng)與企業(yè)業(yè)務(wù)/運(yùn)營(yíng)
3. 實(shí)踐中的企業(yè)大數(shù)據(jù)分析技術(shù)流程
3.1采集---各種方法的比較
3.2存儲(chǔ)---原始數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)提取
3.3模型---Web分析指標(biāo)體系
3.4分析---大數(shù)據(jù)分析方法
3.5 行動(dòng)---個(gè)性化推薦
4. 大數(shù)據(jù)與企業(yè)交易
5. 大數(shù)據(jù)與企業(yè)交互
5. 自已設(shè)計(jì)大數(shù)據(jù)技術(shù)體系
大數(shù)據(jù)與企業(yè)新一代數(shù)據(jù)體系建設(shè) 1.傳統(tǒng)的以關(guān)系數(shù)據(jù)庫(kù)為主的企業(yè)數(shù)據(jù)架構(gòu)
2.大數(shù)據(jù)時(shí)代的新一代企業(yè)數(shù)據(jù)邏輯架構(gòu)
2.1 數(shù)據(jù)分類(lèi)
2.2 數(shù)據(jù)分布
2.3 數(shù)據(jù)流轉(zhuǎn)
2.4 數(shù)據(jù)集成
2.5 數(shù)據(jù)交換
2.6 數(shù)據(jù)分析
2.7 應(yīng)用展示
3. 新一代企業(yè)數(shù)據(jù)技術(shù)架構(gòu)
3.1邏輯架構(gòu)
3.2技術(shù)方法
3.3物理平臺(tái)
4. 新一代企業(yè)數(shù)據(jù)架構(gòu)中Hadoop/NoSQL與關(guān)系數(shù)據(jù)庫(kù)的相互配合
5. 典型場(chǎng)景示例
大數(shù)據(jù)時(shí)代關(guān)系數(shù)據(jù)庫(kù)的挑戰(zhàn)與應(yīng)對(duì)
1. 現(xiàn)代數(shù)據(jù)管理技術(shù)綜述
2. 關(guān)系數(shù)據(jù)庫(kù)技術(shù)的核心特征
3.主流關(guān)系數(shù)據(jù)庫(kù)的挑戰(zhàn)
4. 改進(jìn)型關(guān)系數(shù)據(jù)庫(kù)
大數(shù)據(jù)技術(shù)綜述
1. 大數(shù)據(jù)概念澄清
2. 大數(shù)據(jù)技術(shù)家族
3. NoSQL技術(shù)綜述
3.1最早的NoSQL---BDB
3.2 Hadoop之Hbase與Facebook之Cassandra
3.3 MongoDB與CouchDB
3.4Memcached與Redis
3.5圖形數(shù)據(jù)庫(kù)Neo4j
4. MapReduce
5.關(guān)系數(shù)據(jù)庫(kù)聯(lián)邦
6.海量分布式文件系統(tǒng)
7大數(shù)據(jù)技術(shù)理論基礎(chǔ)
CAP，BASE，ACID
Hadoop實(shí)用教程
1. Hadoop技術(shù)概論
1.1 Hadoop體系架構(gòu)總論
1.2 HDFS-工作原理與架構(gòu)
1.3 平民化的分布式計(jì)算MapReduce
1.4 MapReduce工作原理與架構(gòu)
1.5 Hadoop數(shù)據(jù)倉(cāng)庫(kù)-Hive
1.6 Hadoop NoSQL數(shù)據(jù)庫(kù)-HBase
1.7 工作流調(diào)度-Ooize
1.8 分布式協(xié)調(diào)系統(tǒng)--Zookeeper
2. Hadoop部署
2.1 Hadoop版本介紹與選擇
2.2 Hadoop部署實(shí)踐
2.3 Hadoop安裝文件構(gòu)成與配置體系
2.4 機(jī)器硬件建議配置
2.5 系統(tǒng)環(huán)境配置
2.6 基本參數(shù)配置與說(shuō)明
2.7 進(jìn)程分布規(guī)劃與啟動(dòng)
3. 分布式文件系統(tǒng)HDFS實(shí)用教程
3.1 HDFS操作
3.2 HDFS編程—文件讀寫(xiě)
3.3 HDFS數(shù)據(jù)壓縮
3.4 HDFS技術(shù)要點(diǎn)
4. MapReduce實(shí)用教程
4.1 MapReduce原理與架構(gòu)
4.2 MapReduce編程方法
4.3 MapReduce實(shí)用技術(shù)要點(diǎn)
4.4 MapReduce排序與關(guān)聯(lián)
4.5 MapReduce工作流
4.6 MapReduce調(diào)優(yōu)
5. MapReduce2.0-YARN
5.1 YARN的原理
5.2 YARN設(shè)計(jì)架構(gòu)
5.3 YARN工作流程
5.4 YARN與MapReduce1.0比較
6. MapReduce實(shí)例講解
6.1普通實(shí)例
6.2 高級(jí)實(shí)例
6.3 MapReduce高級(jí)數(shù)據(jù)分析（時(shí)間允許時(shí)）
7. Hadoop數(shù)據(jù)倉(cāng)庫(kù)Hive
7.1 Hive編程
7.2 Hive環(huán)境部署與搭建
7.3 Hive工作機(jī)制
7.4 Hive語(yǔ)法與實(shí)踐
8. 其它ZooKeeper，Sqoop，Chukwa，Avro……
Hadoop技術(shù)分析
1. Hadoop MapReduce技術(shù)解析
6.1關(guān)于效率
6.2關(guān)于擴(kuò)展性
6.3關(guān)于可靠性與可用性
6.4關(guān)于與關(guān)系數(shù)據(jù)庫(kù)
6.5關(guān)于適用的數(shù)據(jù)類(lèi)型
6.6關(guān)于數(shù)據(jù)存儲(chǔ)與管理
2. Hadoop與關(guān)系數(shù)據(jù)庫(kù)
2.1 MapReduce與關(guān)系數(shù)據(jù)庫(kù)
2.2 Hive與MPP關(guān)系數(shù)據(jù)庫(kù)
NoSQL實(shí)用教程
1.NoSQL理論基礎(chǔ)---CAP與BASE深入分析
2.NoSQL實(shí)用教程
2.1 HBase實(shí)用教程
2.1.1 HBase原理
2.1.2 HBase實(shí)用安裝部署要點(diǎn)
2.1.3 HBase數(shù)據(jù)模型
2.1.4 HBase索引與關(guān)聯(lián)的實(shí)現(xiàn)
2.1.5 HBase使用
2.1.6HBase性能調(diào)優(yōu)
2.1.7 HBase高級(jí)設(shè)計(jì)教程---如何真正用好HBase
2.1.8 HBase與關(guān)系數(shù)據(jù)庫(kù)結(jié)合
3. NoSQL設(shè)計(jì)實(shí)例
3.1 HBase實(shí)現(xiàn)全屬性查詢(xún)
3.2 HBase實(shí)現(xiàn)時(shí)間序列數(shù)據(jù)管理
3.3 HBase與MapReduce結(jié)合示例
4. Facebook Cassandra介紹
5.MongoDB介紹
6.圖數(shù)據(jù)庫(kù)Neo4J介紹
NoSQL技術(shù)分析
1. NoSQL技術(shù)手段總結(jié)
1.1 水平分割
1.2 數(shù)據(jù)副本與讀寫(xiě)一致性
1.3 In-Memory架構(gòu)
1.4 MVCC
1.5列存儲(chǔ)
1.6 COW
2. NoSQL技術(shù)解析
2.1 關(guān)于水平擴(kuò)展性
2.2關(guān)于模式自由
3. NoSQL與關(guān)系數(shù)據(jù)庫(kù)
3.1 理論原則分析
3.2 邏輯模型分析
3.3 物理模型分析
3.4 索引、事務(wù)與關(guān)聯(lián)
3.5 使用場(chǎng)景定位
3.6 企業(yè)數(shù)據(jù)體系定位
Spark教程
1. Spark組成與體系架構(gòu)
2. Spark原理
3. Spark與Hadoop
4. Scala簡(jiǎn)介
5. Spark技術(shù)流程
超越Hadoop
1. Hadoop技術(shù)體系的不足與尷尬
2. 新技術(shù)介紹
3. 互聯(lián)網(wǎng)技術(shù)體系介紹
4. 數(shù)據(jù)管理技術(shù)發(fā)展趨勢(shì)分析
大數(shù)據(jù)技術(shù)實(shí)踐分享
1. 海量數(shù)據(jù)處理架構(gòu)設(shè)計(jì)
2. 大數(shù)據(jù)驅(qū)動(dòng)與企業(yè)業(yè)務(wù)/運(yùn)營(yíng)
3. 實(shí)踐中的企業(yè)大數(shù)據(jù)分析技術(shù)流程
3.1采集---各種方法的比較
3.2存儲(chǔ)---原始數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)提取
3.3模型---Web分析指標(biāo)體系
3.4分析---大數(shù)據(jù)分析方法
3.5 行動(dòng)---個(gè)性化推薦
4. 大數(shù)據(jù)與企業(yè)交易
5. 大數(shù)據(jù)與企業(yè)交互
5. 自已設(shè)計(jì)大數(shù)據(jù)技術(shù)體系
大數(shù)據(jù)與企業(yè)新一代數(shù)據(jù)體系建設(shè)
1.傳統(tǒng)的以關(guān)系數(shù)據(jù)庫(kù)為主的企業(yè)數(shù)據(jù)架構(gòu)
2.大數(shù)據(jù)時(shí)代的新一代企業(yè)數(shù)據(jù)邏輯架構(gòu)
2.1 數(shù)據(jù)分類(lèi)
2.2 數(shù)據(jù)分布
2.3 數(shù)據(jù)流轉(zhuǎn)
2.4 數(shù)據(jù)集成
2.5 數(shù)據(jù)交換
2.6 數(shù)據(jù)分析
2.7 應(yīng)用展示
3. 新一代企業(yè)數(shù)據(jù)技術(shù)架構(gòu)
3.1邏輯架構(gòu)
3.2技術(shù)方法
3.3物理平臺(tái)
4. 新一代企業(yè)數(shù)據(jù)架構(gòu)中Hadoop/NoSQL與關(guān)系數(shù)據(jù)庫(kù)的相互配合
5. 典型場(chǎng)景示例

活動(dòng)詳情

提交需求