91原色影院_免费av在线_中文字幕最新精品_久久精品视频99

兩個(gè)完整的項(xiàng)目任務(wù)和實(shí)踐案例（重點(diǎn)）

1.日志分析建模與日志挖掘項(xiàng)目實(shí)踐

a)Hadoop，Spark，并結(jié)合ELK技術(shù)構(gòu)建日志分析系統(tǒng)和日志數(shù)據(jù)倉(cāng)庫(kù)

b)互聯(lián)網(wǎng)微博日志分析系統(tǒng)項(xiàng)目

2.推薦系統(tǒng)項(xiàng)目實(shí)踐

a)電影數(shù)據(jù)分析與個(gè)性化推薦關(guān)聯(lián)分析項(xiàng)目

b)電商購(gòu)物籃分析項(xiàng)目

Hadoop，Spark，可結(jié)合Oryx分布式集群在個(gè)性化推薦和精準(zhǔn)營(yíng)銷項(xiàng)目。

項(xiàng)目的階段性步驟貫穿到三天的培訓(xùn)過程中，第三天完成整個(gè)項(xiàng)目的原型

時(shí)間

內(nèi)容提要

授課詳細(xì)內(nèi)容

實(shí)踐訓(xùn)練

第一天

業(yè)界主流的數(shù)據(jù)倉(cāng)庫(kù)工具和大數(shù)據(jù)分析挖掘工具

1. 業(yè)界主流的基于Hadoop和Spark的大數(shù)據(jù)分析挖掘項(xiàng)目解決方案

2. 業(yè)界數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)分析挖掘平臺(tái)軟件工具

3. Hadoop數(shù)據(jù)倉(cāng)庫(kù)工具Hive

4. Spark實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工具SparkSQL

5. Hadoop數(shù)據(jù)分析挖掘工具M(jìn)ahout

6. Spark機(jī)器學(xué)習(xí)與數(shù)據(jù)分析挖掘工具M(jìn)Llib

7. 大數(shù)據(jù)分析挖掘項(xiàng)目的實(shí)施步驟

配置數(shù)據(jù)倉(cāng)庫(kù)工具Hadoop Hive和SparkSQL

部署數(shù)據(jù)分析挖掘工具Hadoop Mahout和Spark MLlib

大數(shù)據(jù)分析挖掘項(xiàng)目的數(shù)據(jù)集成操作訓(xùn)練

1. 日志數(shù)據(jù)解析和導(dǎo)入導(dǎo)出到數(shù)據(jù)倉(cāng)庫(kù)的操作訓(xùn)練

2. 從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉(cāng)庫(kù)

3. 數(shù)據(jù)分析挖掘模塊從大型的集中式數(shù)據(jù)倉(cāng)庫(kù)中訪問數(shù)據(jù)，一個(gè)數(shù)據(jù)倉(cāng)庫(kù)面向一個(gè)主題，構(gòu)建兩個(gè)數(shù)據(jù)倉(cāng)庫(kù)

4. 同一個(gè)數(shù)據(jù)倉(cāng)庫(kù)中的事實(shí)表數(shù)據(jù)，可以給多個(gè)不同類型的分析挖掘任務(wù)調(diào)用

5. 去除噪聲

項(xiàng)目數(shù)據(jù)集加載ETL到Hadoop Hive數(shù)據(jù)倉(cāng)庫(kù)并建立多維模型

基于Hadoop的大型數(shù)據(jù)倉(cāng)庫(kù)管理平臺(tái)—HIVE數(shù)據(jù)倉(cāng)庫(kù)集群的多維分析建模應(yīng)用實(shí)踐

6. 基于Hadoop的大型分布式數(shù)據(jù)倉(cāng)庫(kù)在行業(yè)中的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例

7. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的平臺(tái)體系結(jié)構(gòu)、核心技術(shù)剖析

8. Hive Server的工作原理、機(jī)制與應(yīng)用

9. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的安裝部署與配置優(yōu)化

10. Hive應(yīng)用開發(fā)技巧

11. Hive SQL剖析與應(yīng)用實(shí)踐

12. Hive數(shù)據(jù)倉(cāng)庫(kù)表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧

13. Hive數(shù)據(jù)倉(cāng)庫(kù)報(bào)表設(shè)計(jì)

14. 將原始的日志數(shù)據(jù)集，經(jīng)過整理后，加載至Hadoop + Hive數(shù)據(jù)倉(cāng)庫(kù)集群中，用于共享訪問

利用HIVE構(gòu)建大型數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的操作訓(xùn)練實(shí)踐

Spark大數(shù)據(jù)分析挖掘平臺(tái)實(shí)踐操作訓(xùn)練

15. Spark大數(shù)據(jù)分析挖掘平臺(tái)的部署配置

16. Spark數(shù)據(jù)分析庫(kù)MLlib的開發(fā)部署

17. Spark數(shù)據(jù)分析挖掘示例操作，從Hive表中讀取數(shù)據(jù)并在分布式內(nèi)存中運(yùn)行

第二天

聚類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用

18. 聚類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：

a) Canopy聚類（canopy clustering）

b) K均值算法（K-means clustering）

c) 模糊K均值（Fuzzy K-means clustering）

d) EM聚類，即期望最大化聚類（Expectation Maximization）

e) 以上算法在Spark MLib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。

19. Spark聚類分析算法程序示例

基于Spark MLlib的聚類分析算法，實(shí)現(xiàn)日志數(shù)據(jù)集中的用戶聚類

分類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用

20. 分類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用， 包括：

f) Spark決策樹算法實(shí)現(xiàn)

g) 邏輯回歸算法（logistics regression）

h) 貝葉斯算法（Bayesian與Cbeyes）

i) 支持向量機(jī)（Support vector machine）

j) 以上算法在Spark MLlib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。

21. Spark客戶資料分析與給用戶貼標(biāo)簽的程序示例

22. Spark實(shí)現(xiàn)給商品貼標(biāo)簽的程序示例

23. Spark實(shí)現(xiàn)用戶行為的自動(dòng)標(biāo)簽和深度技術(shù)

基于Spark MLlib的分類分析算法模型與應(yīng)用操作

關(guān)聯(lián)分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用

24. 預(yù)測(cè)、推薦分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：

k) Spark頻繁模式挖掘算法（parallel FP Growth Algorithm）應(yīng)用

l) Spark關(guān)聯(lián)規(guī)則挖掘（Apriori）算法及其應(yīng)用

m) 以上算法在Spark MLib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。

25. Spark關(guān)聯(lián)分析程序示例

基于Spark MLlib的關(guān)聯(lián)分析操作

第三天

推薦分析挖掘模型與算法技術(shù)應(yīng)用

26. 推薦算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：

a) Spark協(xié)同過濾算法程序示例

b) Item-based協(xié)同過濾與推薦

c) User-based協(xié)同過濾與推薦

d) 交叉銷售推薦模型及其實(shí)現(xiàn)

推薦分析實(shí)現(xiàn)步驟與操作（重點(diǎn)）

回歸分析模型與預(yù)測(cè)算法

27. 利用線性回歸（多元回歸）實(shí)現(xiàn)訪問量預(yù)測(cè)

28. 利用非線性回歸預(yù)測(cè)成交量和訪問量的關(guān)系

29. 基于R+Spark實(shí)現(xiàn)回歸分析模型及其應(yīng)用操作

30. Spark回歸程序?qū)崿F(xiàn)異常點(diǎn)檢測(cè)的程序示例

回歸分析預(yù)測(cè)操作例子

圖關(guān)系建模與分析挖掘及其鏈接分析和社交分析操作

31. 利用Spark GraphX實(shí)現(xiàn)網(wǎng)頁(yè)鏈接分析，計(jì)算網(wǎng)頁(yè)重要性排名

32. 實(shí)現(xiàn)信息傳播的社交關(guān)系傳遞分析，互聯(lián)網(wǎng)用戶的行為關(guān)系分析任務(wù)的操作訓(xùn)練

圖數(shù)據(jù)的分析挖掘操作，實(shí)現(xiàn)微博數(shù)據(jù)集的社交網(wǎng)絡(luò)建模與關(guān)系分析

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)算法模型及其應(yīng)用實(shí)踐

33. 神經(jīng)網(wǎng)絡(luò)算法Neural Network的實(shí)現(xiàn)方法和挖掘模型應(yīng)用

34. 基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)的訓(xùn)練過程

a) 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法

b) Deep Learning的訓(xùn)練方法

35. 深度學(xué)習(xí)的常用模型和方法

a) CNN（Convolutional Neural Network）卷積神經(jīng)網(wǎng)絡(luò)

b) RNN（Recurrent Neural Network）循環(huán)神經(jīng)網(wǎng)絡(luò)模型

c) Restricted Boltzmann Machine(RBM)限制波爾茲曼機(jī)

36. 基于Spark的深度學(xué)習(xí)算法模型庫(kù)的應(yīng)用程序示例

基于Spark或TensorFlow神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)庫(kù)實(shí)現(xiàn)文本與圖片數(shù)據(jù)挖掘

項(xiàng)目實(shí)踐

37. 日志分析系統(tǒng)與日志挖掘項(xiàng)目實(shí)踐

a) Hadoop，Spark，ELK技術(shù)構(gòu)建日志數(shù)據(jù)倉(cāng)庫(kù)

b) 互聯(lián)網(wǎng)微博日志分析系統(tǒng)項(xiàng)目

38. 推薦系統(tǒng)項(xiàng)目實(shí)踐

a) 電影數(shù)據(jù)分析與個(gè)性化推薦關(guān)聯(lián)分析項(xiàng)目

項(xiàng)目數(shù)據(jù)集和詳細(xì)的實(shí)驗(yàn)指導(dǎo)手冊(cè)由講師提供

培訓(xùn)總結(jié)

39. 項(xiàng)目方案的課堂討論，討論實(shí)際業(yè)務(wù)中的分析需求，剖析各個(gè)環(huán)節(jié)的難點(diǎn)、痛點(diǎn)、瓶頸，啟發(fā)出解決之道；完成講師布置的項(xiàng)目案例，鞏固學(xué)過的大數(shù)據(jù)分析挖掘處理平臺(tái)技術(shù)知識(shí)以及應(yīng)用技能

討論交流