關于舉辦“Hadoop大數據平臺開發與案例分析”高級工程師實戰培訓班的通知
一、 課程介紹
1. 需求理解
Hadoop 設計之初的目標就定位于高可靠性、高可拓展性、高容錯性和高效性，正是這些設計上與生俱來的優點，才使得Hadoop 一出現就受到眾多大公司的青睞，同時也引起了研究界的普遍關注。
對電信運營商而言,用戶上網日志包含了大量用戶個性化需求、喜好信息,對其進行分析和挖掘,能更好地了解客戶需求。傳統經營分析系統小型機加關系型數據庫的架構無法滿足對海量非結構化數據的處理需求,搭建基于X86的Hadoop 平臺,引入大數據處理技術的方式,實現高效率、低成本、易擴展的經營分析系統混搭架構成為電信運營商最為傾向的選擇。本課程將全面介紹Hadoop平臺開發和運維的各項技術，對學員使用該項技術具有很高的應用價值。
2. 培訓課程架構與設計思路
（1）培訓架構：
本課程分為三個主要部分：
第一部分：重點講述大數據技術在的應用，使學員對大數據技術的廣泛應用有清晰的認識，在這環節當中會重點介紹Hadoop技術在整個大數據技術應用中的重要地位和應用情況。
第二部分：具體對hadoop技術進行模塊化分拆，從大數據文件存儲系統技術和分布式文件系統平臺及其應用談起，介紹Hadoop技術各主要應用工具和方法，以及在運維維護當中的主流做法，使學員全面了解和掌握Hadoop技術的精華。
第三部分：重點剖析大數據的應用案例，使學員在案例當中對該項技術有更深入的感觀印象
（2）設計思路：
本課程采用模塊化教學方法，以案例分析為主線，由淺入深、循序漸進、由理論到實踐操作進行設計。
（3）與企業的貼合點：
本課程結合企業轉型發展及大數據發展戰略，圍繞企業大數據業務及行業應用市場拓展發展目標，重點講授Hadoop的應用技術，提升企業IT技術人員的開發和運維能力，有很強的貼合度。
二、培訓時間及地點
2023年3月23-25日北京 2023年4月22-24日杭州
三、培訓對象
業務支撐建設維護室、業務維護室、經營分析室人員；網絡部、網管中心、網優中心從事大數據相關工作的人員
四、培訓目標
掌握大數據處理平臺（Hadoop、Spark、Storm）技術架構、以及平臺的安裝部署、運維配置、應用開發；掌握主流大數據Hadoop平臺和Spark實時處理平臺的技術架構和實際應用；利用Hadoop+Spark對行業大數據進行存儲管理和分析挖掘的技術應用；講解Hadoop生態系統組件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大數據存儲管理、分布式數據庫、大型數據倉庫、大數據查詢與搜索、大數據分析挖掘與分布式處理技術
五、培訓大綱
（1）課程框架
|
時間 |
培訓內容 |
教學方式 | |
|
第一天 |
上午 |
第一部分：移動互聯網、大數據、云計算相關技術介紹 第二部分：大數據的挑戰和發展方向 |
理論講授+案例分析 |
|
下午 |
第三部分：大數據文件存儲系統技術和分布式文件系統平臺及其應用 第四部分：Hadoop文件系統HDFS最佳實戰 |
理論講授+案例分析+小組討論 | |
|
第二天 |
上午 |
第五部分：Hadoop運維管理與性能調優 第六部分：NOSQL數據庫Hbase與Redis |
理論講授+案例分析+實戰演練 |
|
下午 |
第七部分：類SQL語句工具——Hive 第八部分：數據挖掘SPARK建�；A介紹 |
理論講授+案例分析+實戰演練 | |
|
第三天 |
上午 |
第九部分：Kafka基礎介紹 第十部分：大數據典型應用與開發案例分析：互聯網數據運營 |
理論講授+案例分析 |
|
下午 |
第十一部分：當前數據中心的改造和轉換分析-以國內外運營商、互聯網公司為例 第十二部分：課程總結與問題答疑 評估培訓 |
理論講授+案例分析+小組討論 | |
詳細培訓內容介紹
|
課程模塊 |
課程主題 |
主要內容及案例和演示 | |
|
模塊一 |
移動互聯網、大數據、云計算相關技術介紹 |
1、 數據中心與云計算技術應用 2、 智慧城市與云計算技術應用 3、 移動互聯網、大數據與云計算關聯技術 4、 移動云計算的生態系統及產業鏈 5、 大數據技術在運營商、金融業、銀行業、電子商務行業、零售業、制造業、政務信息化、互聯網、教育信息化等行業中的應用實踐 6、 國內外主流的大數據解決方案介紹 7、 當前大數據解決方案與傳統數據庫方案的剖析比較 8、 Cloudera Hadoop 大數據平臺方案剖析 9、 開源的大數據生態系統平臺剖析 | |
|
模塊二 |
大數據的挑戰和發展方向 |
1、 大數據時代的挑戰 Ø 戰略決策能力 Ø 技術開發和數據處理能力 Ø 組織和運營能力 2、 大數據時代的發展方向 Ø 云計算是基礎設施架構 Ø 大數據是靈魂資產 Ø 分析、挖掘是手段 Ø 發現和預測是最終目標 3、 大數據挖掘在各行業應用情況 Ø 電信行業應用及案例分析 Ø 互聯網行業應用及案例分析 Ø 金融行業應用及案例研究 Ø 銷售行業應用案例分析 | |
|
模塊三 |
大數據文件存儲系統技術和分布式文件系統平臺及其應用 |
1、 Hadoop的發展歷程 Ø Hadoop大數據平臺架構 Ø 基于Hadoop平臺的PB級大數據存儲管理與分析處理的工作原理與機制 Ø Hadoop 的核心組件剖析 2、 分布式文件系統HDFS Ø 概述、功能、作用、優勢 Ø 應用范疇、應用現狀 Ø 發展趨勢 3、 分布式文件系統HDFS架構及原理 Ø 核心關鍵技術 Ø 設計精髓 Ø 基本工作原理 Ø 系統架構 Ø 文件存儲模式 Ø 工作機制 Ø 存儲擴容與吞吐性能擴展 4、 分布式文件系統HDFS操作 Ø SHELL命令操作 Ø I/O流式操作 Ø 文件數據讀取、寫入、追加、刪除 Ø 文件狀態查詢 Ø 數據塊分布機制 Ø 數據同步與一致性 Ø 元數據管理技術 Ø 主節點與從節點工作機制 Ø 大數據負載均衡技術 Ø HDFS大數據存儲集群管理技術 5、 Hadoop生態系統組件 Ø Storm Ø HDFS Ø MapReduce Ø HIVE Ø HBase Ø Spark Ø GraphX Ø MLib Ø Shark | |
|
模塊四 |
Hadoop文件系統HDFS最佳實戰 |
1、 HDFS的設計 2、 HDFS的概念 Ø 數據塊 Ø namenode和datanode Ø 聯邦HDFS Ø HDFS的高可用性 3、 命令行接口 4、 Hadoop文件系統 5、 Java接口 Ø 從Hadoop URL讀取數據 Ø 通過FileSystem API讀取數據 Ø 寫入數據 Ø 目錄 Ø 查詢文件系統 Ø 刪除數據 6、 數據流 Ø 剖析文件讀取 Ø 剖析文件寫入 Ø 一致模型 7、 通過Flume和Sqoop導入數據 8、 通過distcp并行復制 9、 Hadoop存檔 Ø 使用Hadoop存檔工具 Ø 不足 | |
|
模塊五 |
Hadoop運維管理與性能調優 |
1、 第二代大數據處理框架 Ø Yarn的工作原理及 Ø DAG并行執行機制 Ø Yarn大數據分析處理案例分析 Ø Yarn 框架并行應用程序實踐 2、 集群配置管理 Ø Hadoop集群配置 Ø Hadoop性能調優與參數配置 Ø Hadoop機架感知策略與配置 Ø Hadoop壓縮機制 Ø Hadoop任務負載均衡 Ø Hadoop 集群維護 Ø Hadoop監控管理 3、 HDFS的靜態調優技巧 Ø HDFS 的高吞吐量I/O性能調優技巧 Ø MapReduce/Yarn的并行處理性能調優技巧 Ø Hadoop集群的運行故障剖析，以及解決方案 Ø 基于Hadoop大數據應用程序的性能瓶頸剖析與提 Ø Hadoop 大數據運維監控管理系統 HUE 平臺的安裝部署與應用配置 Ø Hadoop運維管理監控系統Ambari平臺的安裝部配置 Ø Hadoop 集群運維系統 Ganglia, Nagios的安裝部署與應用配置 | |
|
模塊六 |
NOSQL數據庫Hbase與Redis |
1、 NOSQL基礎 Ø CAP理論 Ø Base與ACID Ø NOSQL數據庫存儲類型 鍵值存儲 列存儲 文檔存儲 圖形存儲 2、 HBase分布式數據基礎 3、 安裝Hbase 4、 Hbase應用 Ø HBase的邏輯數據模型，HBase的表、行、列族、列、單元格、版本、row key排序 Ø HBase的物理模型，命名空間（表空間）、表模式（Schema）的設計法則 Ø HBase 主節點HMaster的工作原理，HMaster的高可用配置，以及性能調優 Ø HBase 從節點RegionServer（分區服務節點）的工作原理，表分區及存儲I/O高并發配置，以及性能調優 Ø HBase的存儲引擎工作原理，以及HBase表數據的鍵值存儲結構，以及HFile存儲結構剖析 Ø HBase表設計與數據操作以及數據庫管理操作 Ø HBase集群的安裝部署、參數配置和性能優化 5、 HBase分布式數據庫簡介、發展歷程、應用場景、工作原理、以及應用優勢與不足之處 Ø HBase分布式數據庫集群的主從式平臺架構和關鍵技術剖析 Ø HBase偽分布式和物理集群分布式的控制與運行配置 Ø HBase從節點RegionServer（分區服務節點）的工作原理，表分區及存儲I/O高并發配置，以及性能調優 Ø HBase的存儲引擎工作原理，以及HBase表數據的鍵值存儲結構，以及HFile存儲結構剖析 Ø HBase表設計與數據操作以及數據庫管理操作 Ø HBase集群的安裝部署、參數配置和性能優化 Ø ZooKeeper分布式協調服務系統的工作原理、平臺架構、集群部署應用實戰 Ø ZooKeeper集群的原理架構，以及應用配置 6、 Redis內存數據庫介紹，以及業界應用案例 Ø Redis內存數據庫集群架構以及核心技術剖析 Ø Redis 集群的安裝部署與應用開發實戰 | |
|
模塊七 |
類SQL語句工具——Hive |
1、 安裝Hive 2、 示例 3、 運行Hive Ø 配置Hive Ø Hive服務 Ø Metastore 4、 Hive與傳統數據庫相比 Ø 讀時模式vs.寫時模式 Ø 更新、事務和索引 5、 HiveQL Ø 數據類型 Ø 操作與函數 6、 表 Ø 托管表和外部表 Ø 分區和桶 Ø 存儲格式 Ø 導入數據 Ø 表的修改 Ø 表的丟棄 7、 查詢數據 Ø 排序和聚集 Ø MapReduce腳本 Ø 連接 Ø 子查詢 Ø 視圖 8、 用戶定義函數 Ø 寫UDF Ø 寫UDAF | |
|
模塊八 |
數據挖掘SPARK建模基礎介紹 |
1、 Spark簡介 Ø Spark是什么 Ø Spark生態系統BDAS 2、 Spark架構 Ø Spark分布式架構與單機多核架構的異同 3、 Spark集群的安裝與部署 Ø Spark的安裝與部署 Ø Spark集群初試 4、 Spark硬件配置 Ø Spark硬件 Ø Spark硬件配置流程 | |
|
模塊九 |
Kafka基礎介紹 |
1、 Kafka介紹 2、 kafka體系結構 3、 kafka設計理念簡介 4、 kafka通信協議 5、 kafka的偽分布安裝、集群安裝 6、 kafka的shell操作、java操作 7、 kafka設計理念* 8、 kafka producer和consumer開發 9、 Kafka分布式消息訂閱系統的應用介紹、平臺架構、集群部署與配置應用實戰 10、 Flume-NG數據采集系統的數據流模型、平臺架構、集群部署與配置應用實戰 11、 Hadoop與DBMS之間數據交互工具Sqoop的應用實踐， 12、 Sqoop導入導出數據以及Sqoop集群部署與配置 13、 Kettle 集群的平臺架構、核心技術、部署配置和應用實戰 14、 利用Sqoop實現 MySQL 與 Hadoop 集群之間 | |
|
模塊十 |
大數據典型應用與開發案例分析：互聯網數據運營 |
1、 案例1：貴州數據交易中心 Ø 交易所交易形式：電子交易 Ø 交易所服務：大數據交易、大數據清洗建模分析、大數據定向采購、大數據平臺技術開發 Ø 大數據交易安全性探討分析 Ø 數據交易中心商業模式探討分析 2、 案例2：大數據應用案例：公共交通線路的智能規劃 Ø UrbanInsights：為公交公司提供基于訂閱訪問的大數據工具以及大數據咨詢服務 Ø Urban Insights數據源、數據收集、數據倉庫、數據分析——設計運營線路 Ø Urban Insights通過互聯網數據的運營 3、 討論：浙江移動大數據應用與開發方向 | |
|
模塊十一 |
當前數據中心的改造和轉換分析-以國內外運營商、互聯網公司為例 |
1、 流商業大數據解決方案比較 2、 主流開源云計算系統比較 3、 國內外代表性大數據平臺比較 4、 各廠商最新的大數據產品介紹 5、 案例分析 Ø Facebook的SNS平臺應用 Ø Google的搜索引擎應用 Ø Rackspace的日志處理 Ø Verizon成立精準市場營銷部 Ø TelefonicaDynamicInsights推出的名為“智慧足跡”的商業服務 Ø 中國聯通的“移動通信用戶上網記錄集中查詢與分析支撐系統” | |
|
模塊十二 |
|
課程總結與問題答疑 | |
六、師資介紹
張老師：阿里大數據高級專家，國內資深的Spark、Hadoop技術專家、虛擬化專家，對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態系統中的技術進行了多年的深入的研究，更主要的是這些技術在大量的實際項目中得到廣泛的應用，因此在Hadoop開發和運維方面積累了豐富的項目實施經驗。近年主要典型的項目有：某電信集團網絡優化、中國移動某省移動公司請賬單系統和某省移動詳單實時查詢系統、中國銀聯大數據數據票據詳單平臺、某大型銀行大數據記錄系統、某大型通信運營商全國用戶上網記錄、某省交通部門違章系統、某區域醫療大數據應用項目、互聯網公共數據大云(DAAS)和構建游戲云(Web Game Daas)平臺項目等。
七、頒發證書
參加相關培訓并通過考試的學員，可以獲得：
工業和信息化部頒發的-《大數據開發高級工程師證書》。該證書可作為專業技術人員職業能力考核的證明，以及專業技術人員崗位聘用、任職、定級和晉升職務的重要依據。注：請學員帶一寸彩照2張（背面注明姓名）、身份證復印件一張。
八、培訓費用及須知
6800元/人（含教材、培訓費、考證費以及學習用具等費用） 食宿統一安排，費用自理。
【報名咨詢】
聯系電話：010-62258232 62278113 13718601312 13120125786
聯 系 人：李先生 陳小姐
您的位置：
