課程簡介

隨著大數(shù)據(jù)時代的快速到來，以及大數(shù)據(jù)在生產(chǎn)生活中迅速應(yīng)用，大數(shù)據(jù)領(lǐng)域如雨后春筍般的出現(xiàn)大量的新技術(shù)，如Hadoop、Spark等技術(shù)，大數(shù)據(jù)領(lǐng)域的數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能、大數(shù)據(jù)應(yīng)用開發(fā)等各種不同類型的計算操作，應(yīng)用范圍廣泛、前景非常廣闊。本課程是尹老師多年大數(shù)據(jù)工作經(jīng)驗(yàn)的總結(jié)和歸納，從實(shí)際業(yè)務(wù)案例為入口，使學(xué)員從理論層到實(shí)操層面系統(tǒng)的學(xué)習(xí)數(shù)據(jù)處理技術(shù)、數(shù)據(jù)挖掘、數(shù)據(jù)創(chuàng)新應(yīng)用，使學(xué)員深入理解大數(shù)據(jù)分析工具。通過本課程的學(xué)習(xí)，學(xué)員即可以正確的分析企業(yè)的數(shù)據(jù)，為管理者、決策層提供數(shù)據(jù)支撐。
Hadoop生態(tài)系統(tǒng)是大數(shù)據(jù)技術(shù)事實(shí)標(biāo)準(zhǔn)，是大數(shù)據(jù)思想、理念、機(jī)制的具體實(shí)現(xiàn)，是整個大數(shù)據(jù)技術(shù)中公認(rèn)的核心框架和具有極強(qiáng)的使用價值與研究價值。Hadoop 系統(tǒng)是一款開源軟件，能夠處理海量的各種結(jié)構(gòu)（包括結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化）的數(shù)據(jù)。
Yarn是基于Hadoop的分布式集群資源管理框架；隨著Hadoop集群應(yīng)用的廣泛，以及集群的規(guī)模越來越大，人們發(fā)現(xiàn)Hadoop MRv1存在諸多問題，因此Hadoop MRv2誕生，即現(xiàn)在的YARN，解決了4000節(jié)點(diǎn)的上限問題。
基于 Hadoop 的解決方案能夠幫助企業(yè)應(yīng)對多個大數(shù)據(jù)挑戰(zhàn)，包括：
1、分析海量（PB 級或者更多）的數(shù)據(jù)
Hadoop 能夠分析所有數(shù)據(jù)，使得分析更準(zhǔn)確，預(yù)測更精確；
2、從多個數(shù)據(jù)類型的組合中獲得新的洞察力
將來自多個數(shù)據(jù)源的不同類型的數(shù)據(jù)進(jìn)行結(jié)合分析，發(fā)現(xiàn)新的數(shù)據(jù)關(guān)系和洞察力；
3、存儲大量的數(shù)據(jù)
由于它不依賴于高端硬件，且是可擴(kuò)展的，所以使存儲大量數(shù)據(jù)變得經(jīng)濟(jì)有效；
4、數(shù)據(jù)發(fā)現(xiàn)(data discovery)和研究的沙箱
Hadoop 提供了一個地方，數(shù)據(jù)科學(xué)家可在此發(fā)現(xiàn)新的數(shù)據(jù)關(guān)系和相互依賴性。

工業(yè)和信息化部電信研究院于2014年5月發(fā)布的“大數(shù)據(jù)白皮書”中指出：
“2012 年美國聯(lián)邦政府就在全球率先推出“大數(shù)據(jù)行動計劃（Big data initiative）”，重點(diǎn)在基礎(chǔ)技術(shù)研究和公共部門應(yīng)用上加大投入。在該計劃支持下，加州大學(xué)伯克利分校開發(fā)了完整的大數(shù)據(jù)開源軟件平臺“伯克利數(shù)據(jù)分析軟件棧（Berkeley Data Analytics Stack），其中的內(nèi)存計算軟件Spark的性能比Hadoop 提高近百倍，對產(chǎn)業(yè)界大數(shù)據(jù)技術(shù)走向產(chǎn)生巨大影響”
----來源：工業(yè)和信息化部電信研究院



Spark是成為替代MapReduce架構(gòu)的大數(shù)據(jù)分析技術(shù)，Spark的大數(shù)據(jù)生態(tài)體系包括流處理、圖技術(shù)、機(jī)器學(xué)習(xí)等各個方面，并且已經(jīng)成為Apache頂級項(xiàng)目，可以預(yù)計的是2014年下半年到2015年在社區(qū)和商業(yè)應(yīng)用上會有爆發(fā)式的增長。


國內(nèi)外一些大型互聯(lián)網(wǎng)公司已經(jīng)部署了Spark，并且它的高性能已經(jīng)得到實(shí)踐的證明。國外Yahoo已在多個項(xiàng)目中部署Spark，尤其在信息推薦的項(xiàng)目中得到深入的應(yīng)用；國內(nèi)的淘寶、愛奇異、優(yōu)酷土豆、網(wǎng)易、baidu、騰訊等大型互聯(lián)網(wǎng)企業(yè)已經(jīng)將Spark應(yīng)用于自己的生產(chǎn)系統(tǒng)中。國內(nèi)外的應(yīng)用開始越來越廣泛。Spark正在逐漸走向成熟，并在這個領(lǐng)域扮演更加重要的角色。

目標(biāo)收益

1、大數(shù)據(jù)在行業(yè)、領(lǐng)域中的應(yīng)用案例及實(shí)踐；案例涉及到Hadoop、Hbase、Spark、Flink、kafka、es、redis等開發(fā)組件的應(yīng)用案例及實(shí)踐；
2、應(yīng)用案例及實(shí)踐是如何搭建的、相關(guān)技術(shù)組件在實(shí)際使用過程中的注意事項(xiàng)及關(guān)鍵點(diǎn)；搭建就是指基礎(chǔ)組件如何搭建應(yīng)用；
3、在反欺詐方面（羊毛黨）、安全方面、金融方面、風(fēng)控方面，這四個方面的應(yīng)用案例及實(shí)踐，重點(diǎn)講反欺詐方面（羊毛黨）；
4、從思想到技術(shù)再到實(shí)操，深入系統(tǒng)的剖析大數(shù)據(jù)思想、大數(shù)據(jù)技術(shù)、大數(shù)據(jù)實(shí)踐，使學(xué)員全面的、正確的認(rèn)識大數(shù)據(jù)，并通過動手實(shí)踐編寫大數(shù)據(jù)挖掘程序，使學(xué)員深入理解大數(shù)據(jù)；
5、使學(xué)員深入理解Hadoop、Hbase、Spark、Flink、kafka、es、redis為代表的大數(shù)據(jù)分布式技術(shù)框架；
6、使學(xué)員掌握Hadoop、Hbase、Spark、Flink、kafka、es、redis大數(shù)據(jù)編程技術(shù)，能夠達(dá)到大數(shù)據(jù)挖掘的目的；
7、從代碼實(shí)踐的角度剖析大數(shù)據(jù)分布式技術(shù)執(zhí)行的具體過程并具備大數(shù)據(jù)開發(fā)能力；
通過分享大數(shù)據(jù)在金融結(jié)算方面的應(yīng)用案例，如反欺詐、金融風(fēng)險防范、金融數(shù)據(jù)分析可利用的價值方向等，加深對大數(shù)據(jù)的理解。

培訓(xùn)對象

1、對大數(shù)據(jù)的數(shù)據(jù)分析、數(shù)據(jù)挖掘感興趣的企業(yè)或者個人；
2、適合于想通過數(shù)據(jù)化決策防范風(fēng)險等相關(guān)的企業(yè)或者個人；
3、對大數(shù)據(jù)、分布式存儲、分析等感興趣的人員；
4、大型網(wǎng)站、電商網(wǎng)站等運(yùn)維人員；
5、云計算、大數(shù)據(jù)從業(yè)者；
6、熟悉Hadoop生態(tài)體系，想了解和學(xué)習(xí)Hadoop與Spark整合在企業(yè)應(yīng)用實(shí)戰(zhàn)案例的朋友；
7、系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員；
8、牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計負(fù)責(zé)人；
9、政府機(jī)關(guān)，金融保險、移動互聯(lián)網(wǎng)等大數(shù)據(jù)單位的負(fù)責(zé)人；
10、高校、科研院所大數(shù)據(jù)研究人員，涉及到大數(shù)據(jù)與分布式數(shù)據(jù)處理的人員；
11、數(shù)據(jù)倉

課程大綱