spark streaming教程基于原理到實戰開發的spark視頻教程
分類：大數據視頻教程-基礎與教學實戰 來源：IT教程屋 作者：晴天 時間：2018-05-12 15:07:57
一、spark streaming教程基于原理到實戰開發的spark視頻教程課程介紹
1）本套spark streaming教程為關于Spark Streanming 實時流處理項目實戰的spark視頻教程，該項目將會帶領大家從實時數據的產生以及流向等各個環節逐一為大家詳細系統的學習講解。
2）本套spark streaming實戰教程通過集存主流的分布式日志收集框架、zk、配合分布式消息隊列kafka、分布式數據庫Hbase、以及當前最火爆的spark streaming等主流技術打造實時流處理項目實戰，確保童鞋們學完之后掌握實時流處理的全部的工作流程，并能夠自己開發出一個完整的作品。
3）本套基于spark streaming的sprak 視頻教程旨在幫助童鞋們提升大數據技術水平，由基礎入門到精通到實戰的方式循序漸進。
4）通過該課程的學習和實踐，童鞋們一定能夠達到大數據中級工程師的技術水平。
二、spark streaming教程基于原理到實戰開發的spark視頻教程功能介紹
1）統計實時實戰課程的訪問量、統計搜索引擎引流過來的實戰課程的訪問量、需求分析、數據產生、數據采集、數據統計分析、數據可視化操作等等各種功能。
三、spark streaming實戰視頻教程第一部分課程大綱
| 1-1導學 |
| 1-2授課習慣和學習建議 |
| 1-3 OOTB環境使用演示 |
| 1-4 Linux環境及軟件版本介紹 |
| 1-5 Spark版本升級 |
| 2-1 課程目錄 |
| 2-2 業務現狀分析 |
| 2-3 實時流處理產生背景 |
| 2-4 實時流處理概述 |
| 2-5 離線計算和實時計算對比 |
| 2-6 實時流處理框架對比 |
| 2-7 實時流處理架構及技術選型 |
| 2-8 實時流處理在企業中的應用 |
| 3-1 課程目錄 |
| 3-2 業務現狀分析 |
| 3-3 Flume概述 |
| 3-4 Flume架構及核心組件 |
| 3-5 Flume&JDK環境部署 |
| 3-6 Flume實戰案例一 |
| 3-7 Flume實戰案例二 |
| 3-8 Flume實戰案例三(重點掌握) |
| 4-1 課程目錄 |
| 4-2 Kafka概述 |
| 4-3 Kafka架構及核心概念 |
| 4-4 Kafka單節點單Broker部署之Zookeeper安裝 |
| 4-5 Kafka單節點單broker的部署及使用 |
| 4-6 Kafka單節點多broker部署及使用 |
| 4-7 Kafka容錯性測試 |
| 4-8 使用IDEA+Maven構建開發環境 |
| 4-9 Kafka Producer Java API編程 |
| 5-1 課程目錄 |
| 5-2 Scala安裝 |
| 5-3 Maven安裝 |
| 5-4 Hadoop環境搭建 |
| 5-5 HBase安裝 |
| 5-6 Spark環境搭建 |
| 5-7 開發環境搭建 |
| 6-1 課程目錄 |
| 6-2 Spark Streaming概述 |
| 6-3 Spark Streaming應用場景 |
| 6-4 Spark Streaming集成Spark生態系統的使用 |
| 6-5 Spark Streaming發展史 |
| 6-6 從詞頻統計功能著手入門Spark Streaming |
| 6-7 Spark Streaming工作原理(粗粒度) |
| 6-8 Spark Streaming工作原理(細粒度) |
四、spark streaming實戰視頻教程第二部分課程大綱
| 7-1 課程目錄 |
| 7-2 核心概念之StreamingContext |
| 7-3 核心概念之DStream |
| 7-4 核心概念之Input DStreams和Receivers |
| 7-5 核心概念之Transformation和Output Operations |
| 8-1 課程目錄 |
| 8-2 實戰之updateStateByKey算子的使用 |
| 8-3 實戰之將統計結果寫入到MySQL數據庫中 |
| 8-4 實戰之窗口函數的使用 |
| 8-5 實戰之黑名單過濾 |
| 9-1 課程目錄 |
| 9-2 Push方式整合之概述 |
| 9-3 Push方式整合之Flume Agent配置開發 |
| 9-4 Push方式整合之Spark Streaming應用開發 |
| 9-5 Push方式整合之本地環境聯調 |
| 9-6 Push方式整合之服務器環境聯調 |
| 9-7 Pull方式整合之概述 |
| 9-8 Pull方式整合之Flume Agent配置開發 |
| 9-9 Pull方式整合之Spark Streaming應用開發 |
| 9-10 Pull方式整合之本地環境聯調 |
| 9-11 Pull方式整合之服務器環境聯調 |
| 10-1 課程目錄 |
| 10-2 Spark Streaming整合Kafka的版本選擇詳解 |
| 10-3 Receiver方式整合之概述 |
| 10-4 Receiver方式整合之Kafka測試 |
| 10-5 Receiver方式整合之Spark Streaming應用開發 |
| 10-6 Receiver方式整合之本地環境聯調 |
| 10-7 Receiver方式整合之服務器環境聯調及Streaming UI講解 |
| 10-8 Direct方式整合之概述 |
| 10-9 Direct方式整合之Spark Streaming應用開發及本地環境測試 |
| 10-10 Direct方式整合之服務器環境聯調 |
| 11-1 課程目錄 |
| 11-2 處理流程畫圖剖析 |
| 11-3 日志產生器開發并結合log4j完成日志的輸出 |
| 11-4 使用Flume采集Log4j產生的日志 |
| 11-5 使用KafkaSInk將Flume收集到的數據輸出到Kafka |
| 11-6 Spark Streaming消費Kafka的數據進行統計 |
| 11-7 本地測試和生產環境使用的拓展 |
| 12-1 課程目錄 |
| 12-2 需求說明 |
| 12-3 用戶行為日志介紹 |
| 12-4 Python日志產生器開發之產生訪問url和ip信息 |
| 12-5 Python日志產生器開發之產生referer和狀態碼信息 |
| 12-6 Python日志產生器開發之產生日志訪問時間 |
| 12-7 Python日志產生器服務器測試并將日志寫入到文件中 |
| 12-8 通過定時調度工具每一分鐘產生一批數據 |
| 12-9 使用Flume實時收集日志信息 |
| 12-10 對接實時日志數據到Kafka并輸出到控制臺測試 |
| 12-11 Spark Streaming對接Kafka的數據進行消費 |
| 12-12 使用Spark Streaming完成數據清洗操作 |
| 12-13 功能一之需求分析及存儲結果技術選型分析 |
| 12-14 功能一之數據庫訪問DAO層方法定義 |
| 12-15 功能一之數據庫訪問DAO層方法實現 |
| 12-16 功能一之HBase操作工具類開發 |
| 12-17 功能一之將Spark Streaming的處理結果寫入到HBase中 |
| 12-18 功能二之需求分析及HBase設計&HBase數據訪問層開發 |
| 12-19 功能二之功能實現及本地測試 |
| 12-20 將項目運行在服務器環境中 |
| 13-1 課程目錄 |
| 13-2 為什么需要可視化 |
| 13-3 構建Spring Boot項目 |
| 13-4 Echarts概述 |
| 13-5 Spring Boot整合Echarts繪制靜態數據柱狀圖 |
| 13-6 Spring Boot整合Echarts繪制靜態數據餅圖 |
| 13-7 項目目錄調整 |
| 13-8 根據天來獲取HBase表中的實戰課程訪問次數 |
| 13-9 實戰課程訪問量domain以及dao開發 |
| 14-1 課程目錄 |
| 14-2 使用Java開發Spark應用程序 |
| 14-3 使用Java開發Spark Streaming應用程序 |
|
相關文章 |
責任聲明：文章信息由百科教程屋小編精心整理總結編排而成，傾注了心血和汗水，轉載時請遵循行業規范務必注明文章作者、來源及本頁鏈接，謝謝合作!
本篇文章標題：spark streaming教程基于原理到實戰開發的spark視頻教程
本篇文章url地址：http://www.luidgispecciale.com/193.html
本篇文章標題：spark streaming教程基于原理到實戰開發的spark視頻教程
本篇文章url地址：http://www.luidgispecciale.com/193.html
