2018大數(shù)據(jù)培訓(xùn)學(xué)習(xí)路線全課程目錄+學(xué)習(xí)線路詳解（詳細(xì)完整版）
第一階段：大數(shù)據(jù)基礎(chǔ)Java語言基礎(chǔ)階段
1.1：Java開發(fā)介紹
1.1.1 Java的發(fā)展歷史
1.1.2 Java的應(yīng)用領(lǐng)域
1.1.3 Java語言的特性
1.1.4 Java面向?qū)ο?/p>
1.1.5 Java性能分類
1.1.6 搭建Java環(huán)境
1.1.7 Java工作原理
1.2：熟悉Eclipse開發(fā)工具
1.2.1 Eclipse簡介與下載
1.2.2 安裝Eclipse的中文語言包
1.2.3 Eclipse的配置與啟動
1.2.4 Eclipse工作臺與視圖
1.2.5 “包資源管理器”視圖
1.2.6 使用Eclipse
1.2.7 使用編輯器編寫程序代碼
1.3：Java語言基礎(chǔ)
1.3.1 Java主類結(jié)構(gòu)
1.3.2 基本數(shù)據(jù)類型
1.3.3 變量與常量
1.3.4 Java運(yùn)算符
1.3.5 數(shù)據(jù)類型轉(zhuǎn)換
1.3.6 代碼注釋與編碼規(guī)范
1.3.7 Java幫助文檔
1.4：Java流程控制
1.4.1 復(fù)合語句
1.4.2 條件語句
1.4.3 if條件語句
1.4.4 switch多分支語句
1.4.5 while循環(huán)語句
1.4.6 do…while循環(huán)語句
1.4.7 for循環(huán)語句
1.5：Java字符串
1.5.1 String類
1.5.2 連接字符串
1.5.3 獲取字符串信息
1.5.4 字符串操作
1.5.5 格式化字符串
1.5.6 使用正則表達(dá)式
1.5.7 字符串生成器
1.6：Java數(shù)組與類和對象
1.6.1 數(shù)組概述
1.6.2 一維數(shù)組的創(chuàng)建及使用
1.6.3 二維數(shù)組的創(chuàng)建及使用
1.6.4 數(shù)組的基本操作
1.6.5 數(shù)組排序算法
1.6.6 Java的類和構(gòu)造方法
1.6.7 Java的對象、屬性和行為
1.7：數(shù)字處理類與核心技術(shù)
1.7.1 數(shù)字格式化與運(yùn)算
1.7.2 隨機(jī)數(shù) 與大數(shù)據(jù)運(yùn)算
1.7.3 類的繼承與Object類
1.7.4 對象類型的轉(zhuǎn)換
1.7.5 使用instanceof操作符判斷對象類型
1.7.6 方法的重載與多態(tài)
1.7.7 抽象類與接口
1.8：I/O與反射、多線程
1.8.1 流概述與File類
1.8.2 文件 輸入/輸出流
1.8.3 緩存 輸入/輸出流
1.8.4 Class類與Java反射
1.8.5 Annotation功能類型信息
1.8.6 枚舉類型與泛型
1.8.7 創(chuàng)建、操作線程與線程安全
1.9：Swing程序與集合類
1.9.1 常用窗體
1.9.2 標(biāo)簽組件與圖標(biāo)
1.9.3 常用布局管理器 與面板
1.9.4 按鈕組件 與列表組件
1.9.5 常用事件監(jiān)聽器
1.9.6 集合類概述
1.9.7 Set集合 與Map集合及接口
1.10：PC端網(wǎng)站布局
1.10.1 HTML基礎(chǔ)，CSS基礎(chǔ)，CSS核心屬性
1.10.2 CSS樣式層疊，繼承，盒模型
1.10.3 容器，溢出及元素類型
1.10.4 瀏覽器兼容與寬高自適應(yīng)
1.10.5 定位，錨點與透明
1.10.6 圖片整合
1.10.7 表格，CSS屬性與濾鏡
1.10.8 CSS優(yōu)化
1.11：HTML5+CSS3基礎(chǔ)
1.11.1 HTML5新增的元素與屬性
1.11.2 CSS3選擇器
1.11.3 文字字體相關(guān)樣式
1.11.4 CSS3位移與變形處理
1.11.5 CSS3 2D、3D轉(zhuǎn)換與動畫
1.11.6 彈性盒模型
1.11.7 媒體查詢
1.11.8 響應(yīng)式設(shè)計
1.12：WebApp頁面布局項目
1.12.1 移動端頁面設(shè)計規(guī)范
1.12.2 移動端切圖
1.12.3 文字流式/控件彈性/圖片等比例的布局
1.12.4 等比縮放布局
1.12.5 viewport/meta
1.12.6 rem/vw的使用
1.12.7 flexbox詳解
1.12.8 移動web特別樣式處理
1.13：原生JavaScript功能開發(fā)
1.13.1 什么是JavaScript
1.13.2 JavaScript使用及運(yùn)作原理
1.13.3 JavaScript基本語法
1.13.4 JavaScript內(nèi)置對象
1.13.5 事件，事件原理
1.13.6 JavaScript基本特效制作
1.13.7 cookie存儲
1.13.8 正則表達(dá)式
1.14：Ajax異步交互
1.14.1 Ajax概述與特征
1.14.2 Ajax工作原理
1.14.3 XMLHttpRequest對象
1.14.4 同步與異步
1.14.5 Ajax異步交互
1.14.6 Ajax跨域問題
1.14.7 Ajax數(shù)據(jù)的處理
1.14.8 基于WebSocket和推送的實時交互
1.15：JQuery應(yīng)用
1.15.1 各選擇器使用及應(yīng)用優(yōu)化
1.15.2 Dom節(jié)點的各種操作
1.15.3 事件處理、封裝、應(yīng)用
1.15.4 jQuery中的各類動畫使用
1.15.5 可用性表單的開發(fā)
1.15.6 jQuery Ajax、函數(shù)、緩存
1.15.7 jQuery編寫插件、擴(kuò)展、應(yīng)用
1.15.8 理解模塊式開發(fā)及應(yīng)用
1.16：數(shù)據(jù)庫
1.16.1 Mysql數(shù)據(jù)庫
1.16.2 JDBC開發(fā)
1.16.3 連接池和DBUtils
1.16.4 Oracle介紹
1.16.5 MongoDB數(shù)據(jù)庫介紹
1.16.6 apache服務(wù)器/Nginx服務(wù)器
1.16.7 Memcached內(nèi)存對象緩存系統(tǒng)
1.17：JavaWeb開發(fā)核心
1.17.1 XML技術(shù)
1.17.2 HTTP協(xié)議
1.17.3 Servlet工作原理解析
1.17.4 深入理解Session與Cookie
1.17.5 Tomcat的系統(tǒng)架構(gòu)與設(shè)計模式
1.17.6 JSP語法與內(nèi)置對象
1.17.7 JDBC技術(shù)
1.17.8 大瀏覽量系統(tǒng)的靜態(tài)化架構(gòu)設(shè)計
1.18：JavaWeb開發(fā)內(nèi)幕
1.18.1 深入理解Web請求過程
1.18.2 Java I/O的工作機(jī)制
1.18.3 Java Web中文編碼
1.18.4 Javac編譯原理
1.18.5 class文件結(jié)構(gòu)
1.18.6 ClassLoader工作機(jī)制
1.18.7 JVM體系結(jié)構(gòu)與工作方式
1.18.8 JVM內(nèi)存管理
第二階段：Linux系統(tǒng)Hadoop生態(tài)體系
2.1：Linux體系(1)
2.1.1 VMware Workstation虛擬軟件安裝過程、CentOS虛擬機(jī)安裝過程
2.1.2 了解機(jī)架服務(wù)器，采用真實機(jī)架服務(wù)器部署linux
2.1.3 Linux的常用命令：常用命令的介紹、常用命令的使用和練習(xí)
2.1.4 Linux系統(tǒng)進(jìn)程管理基本原理及相關(guān)管理工具如ps、pkill、top、htop等的使用
2.1：Linux體系(2)
2.1.5 Linux啟動流程，運(yùn)行級別詳解，chkconfig詳解
2.1.6 VI、VIM編輯器：VI、VIM編輯器的介紹、VI、VIM扥使用和常用快捷鍵
2.1.7 Linux用戶和組賬戶管理：用戶的管理、組管理
2.1.8 Linux磁盤管理，lvm邏輯卷，nfs詳解
2.1：Linux體系(3)
2.1.9 Linux系統(tǒng)文件權(quán)限管理：文件權(quán)限介紹、文件權(quán)限的操作
2.1.10 Linux的RPM軟件包管理：RPM包的介紹、RPM安裝、卸載等操作
2.1.11 yum命令，yum源搭建
2.1.12 Linux網(wǎng)絡(luò)：Linux網(wǎng)絡(luò)的介紹、Linux網(wǎng)絡(luò)的配置和維護(hù)
2.1：Linux體系(4)
2.1.13 Shell編程：Shell的介紹、Shell腳本的編寫
2.1.14 Linux上常見軟件的安裝：安裝JDK、安裝Tomcat、安裝mysql,web項目部署
2.2：Hadoop離線計算大綱(1)
2.2.1 Hadoop生態(tài)環(huán)境介紹
2.2.2 Hadoop云計算中的位置和關(guān)系
2.2.3 國內(nèi)外Hadoop應(yīng)用案例介紹
2.2.4 Hadoop 概念、版本、歷史
2.2.5 Hadoop 核心組成介紹及hdfs、mapreduce 體系結(jié)構(gòu)
2.2.6 Hadoop 的集群結(jié)構(gòu)
2.2.7 Hadoop 偽分布的詳細(xì)安裝步驟
2.2：Hadoop離線計算大綱(2)
2.2.8 通過命令行和瀏覽器觀察hadoop
2.2.9 HDFS底層&& datanode,namenode詳解&&shell&&Hdfs java api
2.2.10 Mapreduce四個階段介紹
2.2.11 Writable
2.2.12 InputSplit和OutputSplit
2.2.13 Maptask
2.2.14 Shuffle：Sort，Partitioner，Group,Combiner
2.2：Hadoop離線計算大綱(3)
2.2.15 Reducer
2.2.16 Mapreducer案例：1) 二次排序
2.2.17 倒排序索引
2.2.18 最優(yōu)路徑
2.2.19 電信數(shù)據(jù)挖掘之-----移動軌跡預(yù)測分析（中國棱鏡計劃）
2.2.20 社交好友推薦算法
2.2.21 互聯(lián)網(wǎng)精準(zhǔn)廣告推送 算法
2.2：Hadoop離線計算大綱(4)
2.2.22 阿里巴巴天池大數(shù)據(jù)競賽 《天貓推薦算法》
2.2.23 Mapreduce實戰(zhàn)pagerank算法
2.2.24 Hadoop2.x集群結(jié)構(gòu)體系介紹
2.2.25 Hadoop2.x集群搭建
2.2.26 NameNode的高可用性（HA）
2.2.27 HDFS Federation
2.2：Hadoop離線計算大綱(5)
2.2.28 ResourceManager 的高可用性（HA）
2.2.29 Hadoop集群常見問題和解決方法
2.2.30 Hadoop集群管理
2.3：分布式數(shù)據(jù)庫Hbase(1)
2.3.1 Hbase簡介
2.3.2 HBase與RDBMS的對比
2.3.3 數(shù)據(jù)模型
2.3.4 系統(tǒng)架構(gòu)
2.3.5 HBase上的MapReduce
2.3.6 表的設(shè)計
2.3.7 集群的搭建過程講解
2.3.8 集群的監(jiān)控
2.3：分布式數(shù)據(jù)庫Hbase(2)
2.3.9 集群的管理
2.3.10 HBase Shell以及演示
2.3.11 Hbase 樹形表設(shè)計
2.3.12 Hbase 一對多 和 多對多 表設(shè)計
2.3.13 Hbase 微博 案例
2.3.14 Hbase 訂單案例
2.3.15 Hbase表級優(yōu)化
2.3：分布式數(shù)據(jù)庫Hbase(3)
2.3.16 Hbase 寫數(shù)據(jù)優(yōu)化
2.3.17 Hbase 讀數(shù)據(jù)優(yōu)化
2.3.18 Hbase API操作
2.3.19 hbase mapdreduce 和hive 整合
2.4：數(shù)據(jù)倉庫Hive(1)
2.4.1 數(shù)據(jù)倉庫基礎(chǔ)知識
2.4.2 Hive定義
2.4.3Hive體系結(jié)構(gòu)簡介
2.4.4 Hive集群
2.4.5客戶端簡介
2.4.6 HiveQL定義
2.4.7 HiveQL與SQL的比較
2.4.8 數(shù)據(jù)類型
2.4：數(shù)據(jù)倉庫Hive(2)
2.4.9 外部表和分區(qū)表
2.4.10 ddl與CLI客戶端演示
2.4.11 dml與CLI客戶端演示
2.4.12 select與CLI客戶端演示
2.4.13 Operators 和 functions與CLI客戶端演示
2.4.14 Hive server2 與jdbc
2.4：數(shù)據(jù)倉庫Hive(3)
2.4.15 用戶自定義函數(shù)（UDF 和 UDAF）的開發(fā)與演示
2.4.16 Hive 優(yōu)化
2.4.17 serde
2.5：數(shù)據(jù)遷移工具Sqoop
2.5.1 Sqoop簡介以及使用
2.5.2 Sqoop shell使用
2.5.3 Sqoop-import
2.5.4 DBMS-hdfs
2.5.5 DBMS-hive
2.5.6 DBMS-hbase
2.5.7 Sqoop-export
2.6：Flume分布式日志框架(1)
2.6.1 flume簡介-基礎(chǔ)知識 2.6.2 flume安裝與測試
2.6.3 flume部署方式
2.6.4 flume source相關(guān)配置及測試
2.6.5 flume sink相關(guān)配置及測試
2.6.6 flume selector 相關(guān)配置與案例分析
2.6.7 flume Sink Processors相關(guān)配置和案例分析
2.6：Flume分布式日志框架(2)
2.6.8 flume Interceptors相關(guān)配置和案例分析
2.6.9 flume AVRO Client開發(fā)
2.6.10 flume 和kafka 的整合
第三階段：分布式計算框架：Spark&Storm生態(tài)體系
3.1：Scala編程語言(1)
3.1.1 scala解釋器、變量、常用數(shù)據(jù)類型等
3.1.2 scala的條件表達(dá)式、輸入輸出、循環(huán)等控制結(jié)構(gòu)
3.1.3 scala的函數(shù)、默認(rèn)參數(shù)、變長參數(shù)等
3.1.4 scala的數(shù)組、變長數(shù)組、多維數(shù)組等
3.1.5 scala的映射、元組等操作
3.1.6 scala的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器等
3.1：Scala編程語言(2)
3.1.7 scala的對象、單例對象、伴生對象、擴(kuò)展類、apply方法等
3.1.8 scala的包、引入、繼承等概念
3.1.9 scala的特質(zhì)
3.1.10 scala的操作符
3.1.11 scala的高階函數(shù)
3.1.12 scala的集合
3.1.13 scala數(shù)據(jù)庫連接
3.2：Spark大數(shù)據(jù)處理(1)
3.2.1 Spark介紹
3.2.2 Spark應(yīng)用場景
3.2.3 Spark和Hadoop MR、Storm的比較和優(yōu)勢
3.2.4 RDD
3.2.5 Transformation
3.2.6 Action
3.2.7 Spark計算PageRank
3.2：Spark大數(shù)據(jù)處理(2)
3.2.8 Lineage
3.2.9 Spark模型簡介
3.2.10 Spark緩存策略和容錯處理
3.2.11 寬依賴與窄依賴
3.2.12 Spark配置講解
3.2.13 Spark集群搭建
3.2.15 集群搭建常見問題解決
3.2.16 Spark原理核心組件和常用RDD
3.2：Spark大數(shù)據(jù)處理(3)
3.2.17 數(shù)據(jù)本地性
3.2.18 任務(wù)調(diào)度
3.2.19 DAGScheduler
3.2.20 TaskScheduler
3.2.21 Spark源碼解讀
3.2.22 性能調(diào)優(yōu)
3.2.23 Spark和Hadoop2.x整合：Spark on Yarn原理
3.3：Spark—Streaming大數(shù)據(jù)實時處理
3.3.1 Spark Streaming：數(shù)據(jù)源和DStream
3.3.2 無狀態(tài)transformation與有狀態(tài)transformation
3.3.3 Streaming Window的操作
3.3.4 sparksql 編程實戰(zhàn)
3.3.5 spark的多語言操作
3.3.6 spark最新版本的新特性
3.4：Spark—Mlib機(jī)器學(xué)習(xí)(1)
3.4.1 Mlib簡介
3.4.2 Spark MLlib組件介紹
3.4.3 基本數(shù)據(jù)類型
3.4.4 回歸算法
3.4.5 廣義線性模型
3.4.6 邏輯回歸
3.4.7 分類算法
3.4.8 樸素貝葉斯
3.4：Spark—Mlib機(jī)器學(xué)習(xí)(2)
3.4.9 決策樹
3.4.10 隨機(jī)森林
3.4.11 推薦系統(tǒng)
3.4.12 聚類
a) Kmeans b) Sparse kmeans
c) Kmeans++ d) Kmeans II
e) Streaming kmeans
f) Gaussian Mixture Model
3.5：Spark—GraphX 圖計算
3.5.1 二分圖
3.5.2 概述
3.5.3 構(gòu)造圖
3.5.4 屬性圖
3.5.5 PageRank
3.6：storm技術(shù)架構(gòu)體系(1)
3.6.1 項目技術(shù)架構(gòu)體系
3.6.2 Storm是什么
3.6.3 Storm架構(gòu)分析
3.6.4 Storm編程模型、Tuple源碼、并發(fā)度分析
3.2.5 Transformation
3.6：storm技術(shù)架構(gòu)體系(2)
3.6.6 Maven環(huán)境快速搭建
3.6.7 Storm WordCount案例及常用Api
3.6.8 Storm+Kafka+Redis業(yè)務(wù)指標(biāo)計算
3.6.9 Storm集群安裝部署
3.6.10 Storm源碼下載編譯
3.7：Storm原理與基礎(chǔ)(1)
3.7.1 Storm集群啟動及源碼分析
3.7.2 Storm任務(wù)提交及源碼分析
3.7.3 Storm數(shù)據(jù)發(fā)送流程分析
3.7.4 Strom通信機(jī)制分析淺談
3.7.5 Storm消息容錯機(jī)制及源碼分析
3.7.6 Storm多stream項目分析
3.7.7 Storm Trident和傳感器數(shù)據(jù)
3.7：Storm原理與基礎(chǔ)(2)
3.7.8 實時趨勢分析
3.8.9 Storm DRPC(分布式遠(yuǎn)程調(diào)用)介紹
3.7.10 Storm DRPC實戰(zhàn)講解
3.7.11 編寫自己的流式任務(wù)執(zhí)行框架
3.8：消息隊列kafka
3.8.1 消息隊列是什么
3.8.2 kafka核心組件
3.8.3 kafka集群部署實戰(zhàn)及常用命令
3.8.4 kafka配置文件梳理
3.8.5 kafka JavaApi學(xué)習(xí)
3.8.6 kafka文件存儲機(jī)制分析
3.8.7 kafka的分布與訂閱
3.8.8 kafka使用zookeeper進(jìn)行協(xié)調(diào)管理
3.9：Redis工具
3.9.1 nosql介紹
3.9.2 redis介紹
3.9.3 redis安裝
3.9.4 客戶端連接
3.9.5 redis的數(shù)據(jù)功能
3.9.6 redis持久化
3.9.7 redis應(yīng)用案例
3.10：zookeeper詳解
3.10.1 zookeeper簡介
3.10.2 zookeeper的集群部署
3.10.3 zookeeper的核心工作機(jī)制
3.10.4 zookeeper的命令行操作
3.10.5 zookeeper的客戶端API
3.10.6 zookeeper的應(yīng)用案例
3.10.7 zookeeper的原理補(bǔ)充
第四階段：大數(shù)據(jù)項目實戰(zhàn)
4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(1)
4.1.1項目介紹(1)
淘寶網(wǎng)站的日志分析和訂單管理在實戰(zhàn) 中學(xué)習(xí)，技術(shù)點非常多，一個訪客（UV） 點擊進(jìn)入后計算的一個流量，同時也有 瀏覽量（PV）指的是一個訪客（UV） 在店內(nèi)所瀏覽的次數(shù)。一個UV最少產(chǎn) 生一個PV，PV/UV就是俗稱的訪問 深度，一個訪客
4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(2)
4.1.1項目介紹(2)
（UV）在店內(nèi)所瀏覽的次數(shù)。一個UV最少產(chǎn) 生一個PV，PV/UV就是俗稱的訪問 深度，一個訪客（UV）點擊進(jìn)入 后計算的一個流量，同時也有瀏覽 量（PV）指的是一個訪客（UV） 在店內(nèi)所瀏覽的次數(shù)。一個UV最少產(chǎn)生 一個PV，PV/UV就是俗稱的訪問深度
4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(3)
4.1.1項目介紹(3)
影響自然排名自然搜索的叫權(quán)重， 權(quán)重是決定一個產(chǎn)品是否排在前面 獲得更多流量的決定性因素，權(quán)重的 構(gòu)成多達(dá)幾十種，通常影響權(quán)重的有 銷量，好評，收藏，DSR，維護(hù)時間， 下架時間這類。
4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(4)
4.1.2項目特色
怎樣實際運(yùn)用這些點是我們在自學(xué) 過程中體驗不到的。Cookie日志 分析包括：pv、uv，跳出率，二跳 率、廣告轉(zhuǎn)化率、搜索引擎優(yōu)化等， 訂單模塊有：產(chǎn)品推薦，商家排名， 歷史訂單查詢，訂單報表統(tǒng)計等。
4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(5)
4.1.3 項目架構(gòu)
SDK（JavaaSDK、JSSDK）+
lvs+nginx集群+flume+
hdfs2.x+hive+hbase+MR+MySQL
4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(6)
4.1.4 項目流程(1)
a) 數(shù)據(jù)獲?。篧eb項目和云計算項 目的整合
b) 數(shù)據(jù)處理：Flume通過avro實 時收集web項目中的日志
c) 數(shù)據(jù)的ETL
d) 數(shù)據(jù)展存儲：Hive 批量 sql執(zhí)行 e) Hive 自定義函數(shù)
4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(7)
4.1.4 項目流程(2)
f) Hive和hbase整合。
g) Hbase 數(shù)據(jù)支持 sql查詢分析
h) 數(shù)據(jù)分析：數(shù)據(jù)Mapreduce數(shù) 據(jù)挖掘
i) Hbase dao處理
j) Sqoop 在項目中的使用。
k) 數(shù)據(jù)可視化：Mapreduce定時 調(diào)用和監(jiān)控
4.2：實戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(1)
4.2.1 項目介紹(1)
個性化推薦是根據(jù)用戶的興趣特點 和購買行為，向用戶推薦用戶感興 趣的信息和商品。隨著電子商務(wù)規(guī) 模的不斷擴(kuò)大，商品個數(shù)和種類快 速增長，顧客需要花費大量的時間 才能找到自己想買的商品。這種瀏 覽大量無關(guān)的信息和產(chǎn)品過程無疑 會使淹沒在信息過載
4.2：實戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(2)
4.2.1 項目介紹(2)
問題中的消費者不斷流失。為了解決這些問題， 個性化推薦系統(tǒng)應(yīng)運(yùn)而生。個性化 推薦系統(tǒng)是建立在海量數(shù)據(jù)挖掘基 礎(chǔ)上的一種高級商務(wù)智能平臺，以 幫助電子商務(wù)網(wǎng)站為其顧客購物提 供完全個性化的決策支持和信息服務(wù)
4.2：實戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(3)
4.2.2 項目特色(1)
推薦系統(tǒng)是個復(fù)雜的系統(tǒng)工程， 依賴工程、架構(gòu)、算法的有機(jī)結(jié) 合，是數(shù)據(jù)挖掘技術(shù)、信息檢索 技術(shù)、計算統(tǒng)計學(xué)的智慧結(jié)晶， 學(xué)員只有親手動手才能體會推薦 系統(tǒng)的各個環(huán)節(jié)，才能對各種推 薦算法的優(yōu)缺點有真實的感受。 一方面可以很熟練的完成簡單的
4.2：實戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(4)
4.2.2 項目特色(2)
推薦算法，如content-based、
item-based CF 等。另一方面
要掌握一些常見的推薦算法庫，
如：SvdFeature、LibFM、
Mathout、Mlib等。
4.2：實戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(5)
4.2.3 項目技術(shù)架構(gòu)體系(1)
a) 實時流處理 Kafka，Spark Streaming
b) 分布式運(yùn)算 Hadoop，Spark
c) 數(shù)據(jù)庫 Hbase，Redis
d) 機(jī)器學(xué)習(xí) Spark Mllib
e) 前臺web展示數(shù)據(jù) Struts2， echart
4.2：實戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(6)
4.2.3 項目技術(shù)架構(gòu)體系(2)
f) 分布式平臺 Hadoop，Spark
g) 數(shù)據(jù)清洗 Hive
h) 數(shù)據(jù)分析 R RStudio
i) 推薦服務(wù) Dubbox
j) 規(guī)則過濾 Drools
k) 機(jī)器學(xué)習(xí) MLlib
4.3：實戰(zhàn)二：Sina門戶的DSP廣告投放系統(tǒng)(1)
4.3.1 項目介紹
新浪網(wǎng)（www.sina.com.cn），
是知名的門戶網(wǎng)站，該項目主要通
過收集新浪的Cookie每個產(chǎn)生的日
志，分析統(tǒng)計出該網(wǎng)站的流量相關(guān)
信息和競價廣告位
4.3：實戰(zhàn)二：Sina門戶的DSP廣告投放系統(tǒng)(2)
4.3.2 項目特色
在互聯(lián)網(wǎng)江湖中，始終流傳著三大 賺錢法寶：廣告、游戲、電商，在 移動互聯(lián)網(wǎng)興起之際，利用其得天 獨厚的數(shù)據(jù)優(yōu)勢，終于能夠回答困 擾了廣告主幾百年的問題：我的廣 告究竟被誰看到了？浪費的一半的 錢到底去了哪里？
4.3：實戰(zhàn)二：Sina門戶的DSP廣告投放系統(tǒng)(3)
4.3.3 項目技術(shù)架構(gòu)體系(1)
a)通過flume把日志數(shù)據(jù)導(dǎo)入到 HDFS中，使用hive進(jìn)行數(shù)據(jù)清洗 b)提供web視圖供用戶使用，輸入 查詢?nèi)蝿?wù)參數(shù)，寫入MySQL c)使用spark根據(jù)用戶提交的任 務(wù)參數(shù)，進(jìn)行session分析，進(jìn) 行單挑率分析
4.3：實戰(zhàn)二：Sina門戶的DSP廣告投放系統(tǒng)(4)
4.3.3 項目技術(shù)架構(gòu)體系(2)
d)使用spark sql進(jìn)行各類型熱 門廣告統(tǒng)計 e)使用 flume將廣告點擊日志傳 入kafka，使用spark streaming 進(jìn)行廣告點擊率的統(tǒng)計 f)web頁面顯示MySQL中存儲的任務(wù) 執(zhí)行結(jié)果
4.4：實戰(zhàn)三：商務(wù)日志告警系統(tǒng)項目(1)
4.4.1 項目介紹(1)
基于的日志進(jìn)行監(jiān)控，監(jiān)控需要一定規(guī) 則，對觸發(fā)監(jiān)控規(guī)則的日志信息進(jìn)行告 警，告警的方式，是短信和郵件，隨著 公司業(yè)務(wù)發(fā)展，支撐公司業(yè)務(wù)的各種系 統(tǒng)越來越多，為了保證公司的業(yè)務(wù)正常 發(fā)展，急需要對這些線上系統(tǒng)的運(yùn)行進(jìn)
4.4：實戰(zhàn)三：商務(wù)日志告警系統(tǒng)項目(2)
4.4.1 項目介紹(2)
行監(jiān)控，做到問題的及時發(fā)現(xiàn)和處理， 最大程度減少對業(yè)務(wù)的影響。
4.4.2 項目特色(1)
整體架構(gòu)設(shè)計很完善, 主要架構(gòu)為應(yīng) 用 a)應(yīng)用程序使用log4j產(chǎn)生日志
b)部署flume客戶
4.4：實戰(zhàn)三：商務(wù)日志告警系統(tǒng)項目(3)
4.4.2 項目特色(2)
端監(jiān)控應(yīng)用程序產(chǎn)生的日志信息，并發(fā)送到kafka集群中
c)storm spout拉去kafka的數(shù)據(jù)進(jìn) 行消費，逐條過濾每條日志的進(jìn)行規(guī) 則判斷，對符合規(guī)則的日志進(jìn)行郵件 告警。
4.4：實戰(zhàn)三：商務(wù)日志告警系統(tǒng)項目(4)
4.4.2 項目特色(3)
d)最后將告警的信息保存到mysql數(shù) 據(jù)庫中，用來進(jìn)行管理。
4.4.3 項目技術(shù)架構(gòu)體系
a）推薦系統(tǒng)基礎(chǔ)知識 b）推薦系統(tǒng)開發(fā)流程分析 c）mahout協(xié)同過濾Api使用 d）Java推薦引擎開發(fā)實戰(zhàn) e）推薦系統(tǒng)集成運(yùn)行
4.5：實戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實戰(zhàn)(1)
4.5.1 項目介紹(1)
到網(wǎng)上購物的人已經(jīng)習(xí)慣了收到系統(tǒng)為 他們做出的個性化推薦。Netflix 會推 薦你可能會喜歡看的視頻。TiVo會自動 把節(jié)目錄下來，如果你感興趣就可以看。 Pandora會通過預(yù)測我們想要聽什么歌 曲從而生成個性化的音樂流。所有這些
4.5：實戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實戰(zhàn)(2)
4.5.1 項目介紹(2)
推薦結(jié)果都來自于各式各樣的推薦系統(tǒng)。 它們依靠計算機(jī)算法運(yùn)行，根據(jù)顧客的 瀏覽、搜索、下單和喜好，為顧客選擇 他們可能會喜歡、有可能會購買的商品， 從而為消費者服務(wù)。推薦系統(tǒng)的設(shè)計初 衷是幫助在線零售商提高銷售額，現(xiàn)在 這是一塊兒規(guī)模巨大且
4.5：實戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實戰(zhàn)(3)
4.5.1 項目介紹(3)
不斷增長的業(yè)務(wù)。與此同時，推薦系統(tǒng)的開發(fā)也已經(jīng) 從上世紀(jì) 90 年代中期只有幾十個人研 究，發(fā)展到了今天擁有數(shù)百名研究人員， 分別供職于各高校、大型在線零售商和 數(shù)十家專注于這類系統(tǒng)的其他企業(yè)。
4.5：實戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實戰(zhàn)(4)
4.5.2 項目特色(1)
有沒有想過自己在亞馬遜眼中是什么 樣子?答案是：你是一個很大、很大 的表格里一串很長的數(shù)字。這串?dāng)?shù)字 描述了你所看過的每一樣?xùn)|西，你點 擊的每一個鏈接以及你在亞馬遜網(wǎng)站 上買的每一件商品;表格里的其余部
4.5：實戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實戰(zhàn)(5)
4.5.2 項目特色(2)
分則代表了其他數(shù)百萬到亞馬遜購 物的人。你每次登陸網(wǎng)站，你的數(shù)字 就會發(fā)生改變;在此期間，你在網(wǎng)站 上每動一下，這個數(shù)字就會跟著改變。 這個信息又會反過來影響你在訪問的 每個頁面上會看到什么，還有你會從 亞馬遜公司收到什么郵件和優(yōu)惠信息。
4.5：實戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實戰(zhàn)(6)
4.5.3 項目技術(shù)架構(gòu)體系
a）推薦系統(tǒng)基礎(chǔ)知識
b）推薦系統(tǒng)開發(fā)流程分析
c）mahout協(xié)同過濾Api使用
d）Java推薦引擎開發(fā)實戰(zhàn)
e）推薦系統(tǒng)集成運(yùn)行
第五階段：大數(shù)據(jù)分析方向AI(人工智能)
5.1 Python編程&&Data Analyze工作環(huán)境準(zhǔn)備&數(shù)據(jù)分析基礎(chǔ)(1)
5.1.1介紹Python以及特點
5.1.2 Python的安裝
5.1.3 Python基本操作（注釋、邏輯、 字符串使用等）
5.1.4 Python數(shù)據(jù)結(jié)構(gòu)（元組、列表、字典）
5.1 Python編程&&Data Analyze工作環(huán)境準(zhǔn)備&數(shù)據(jù)分析基礎(chǔ)(2)
5.1.5 使用Python進(jìn)行批量重命名小例子
5.1.6 Python常見內(nèi)建函數(shù)
5.1.7 更多Python函數(shù)及使用常見技巧
5.1.8 異常
5.1.9 Python函數(shù)的參數(shù)講解
5.1.10 Python模塊的導(dǎo)入
5.1 Python編程&&Data Analyze工作環(huán)境準(zhǔn)備&數(shù)據(jù)分析基礎(chǔ)(3)
5.1.11 Python中的類與繼承
5.1.12 網(wǎng)絡(luò)爬蟲案例
5.1.13 數(shù)據(jù)庫連接，以及pip安裝模塊
5.1.14 Mongodb基礎(chǔ)入門
5.1.15 講解如何連接mongodb
5.1.16 Python的機(jī)器學(xué)習(xí)案例
5.1 Python編程&&Data Analyze工作環(huán)境準(zhǔn)備&數(shù)據(jù)分析基礎(chǔ)(4)
5.1.17 AI&&機(jī)器學(xué)習(xí)&&深度學(xué)習(xí)概論
5.1.18 工作環(huán)境準(zhǔn)備
5.1.19 數(shù)據(jù)分析中常用的Python技巧
5.1.20 Pandas進(jìn)階及技巧
5.1.21 數(shù)據(jù)的統(tǒng)計分析
5.2：數(shù)據(jù)可視化
5.2.1 數(shù)據(jù)可視化的概念
5.2.2 圖表的繪制及可視化
5.2.3 動畫及交互渲染
5.2.4 數(shù)據(jù)合并、分組
5.3：Python機(jī)器學(xué)習(xí)-1(1)
5.3.1 機(jī)器學(xué)習(xí)的基本概念
5.3.2 ML工作流程
5.3.3 Python機(jī)器學(xué)習(xí)庫scikit-learn
5.3.4 KNN模型
5.3.5 線性回歸模型
5.3.6 邏輯回歸模型
5.3.7 支持向量機(jī)模型
5.3：Python機(jī)器學(xué)習(xí)-1(2)
5.3.8 決策樹模型
5.3.9 超參數(shù)&&學(xué)習(xí)參數(shù)
5.4：Python機(jī)器學(xué)習(xí)-2
5.4.1 模型評價指標(biāo)
5.4.2 交叉驗證
5.4.3 機(jī)器學(xué)習(xí)經(jīng)典算法
5.4.4 樸素貝葉斯
5.4.5 隨機(jī)森林
5.4.6 GBDT
5.5：圖像識別&&神經(jīng)網(wǎng)絡(luò)
5.5.1 圖像操作的工作流程
5.5.2 特征工程
5.5.3 圖像特征描述
5.5.4 AI網(wǎng)絡(luò)的描述
5.5.5 深度學(xué)習(xí)
5.5.6 TensorFlow框架學(xué)習(xí)
5.5.7 TensorFlow框架卷積神經(jīng)網(wǎng)絡(luò)（CNN）
5.6：自然語言處理&&社交網(wǎng)絡(luò)處理
5.6.1 Python文本數(shù)據(jù)處理
5.6.2 自然語言處理及NLTK
5.6.3 主題模型
5.6.4 LDA
5.6.5 圖論簡介
5.6.6 網(wǎng)絡(luò)的操作及數(shù)據(jù)可視化
5.7：實戰(zhàn)項目：《戶外設(shè)備識別分析》(1)
5.7.1 項目介紹：
用戶行為識別數(shù)據(jù)是由用戶 腰間的智能手機(jī)記錄的， 常 建改數(shù)據(jù)集的目的是用于識 別分類6組不同的用戶行為， 通過智能手機(jī)的加速計和螺旋 儀能夠以50HZ的頻率采集3個 方向的加速度和3個方向的角 速度，采集后的數(shù)據(jù)分成， 70%訓(xùn)練集，30%測試集。
5.7：實戰(zhàn)項目：《戶外設(shè)備識別分析》(2)
5.7.2項目特色(1)
為了保證線路和設(shè)備巡檢的順利進(jìn) 行，減少不必要的經(jīng)濟(jì)損失，改革 傳統(tǒng)落后巡檢方式的呼聲越來越 高。如何監(jiān)督巡檢人員巡檢路線的 到位情況和工作狀態(tài)以及巡檢工作 的規(guī)范化管理已經(jīng)成為電網(wǎng)管理者 普遍關(guān)注和亟待解決的問題。 系統(tǒng)架構(gòu)
5.7：實戰(zhàn)項目：《戶外設(shè)備識別分析》(3)
5.7.2項目特色(2)
系統(tǒng)硬件構(gòu)架包括：固定式讀寫器、 天線、RFID手持設(shè)備、標(biāo)簽及服務(wù)器。 數(shù)據(jù)交換方式，可以采用兩種方式 進(jìn)行實施： 1）在線數(shù)據(jù)交換，通過固定式讀寫 器將現(xiàn)場數(shù)據(jù)實時傳回后臺信息系 統(tǒng)進(jìn)行處理分析。
5.7：實戰(zhàn)項目：《戶外設(shè)備識別分析》(4)
5.7.2項目特色(3)
2）離線數(shù)據(jù)交換，通過手持設(shè)備 在現(xiàn)場數(shù)據(jù)采集完數(shù)據(jù)后，導(dǎo)入至 后臺信息系統(tǒng)進(jìn)行處理分析。
