hadoop項目實戰視頻教程結合spark開發電視收視率項目
分類:大數據視頻教程-基礎與教學實戰 來源:IT教程屋 作者:晴天 時間:2018-05-13 09:39:04
一、hadoop項目實戰視頻教程結合spark開發電視收視率項目課程導讀
1、本套hadoop項目實戰視頻教程項目是以hadoop為主線進行整個項目的開發,然后結合spark框架做最后的整合調整,實現了hadoop加spark的完美整合開發。
2、本套hadoop項目實戰視頻教程會通過電視收視率的案例,從零搭建環境、由淺入深的帶領童鞋們手把手將整個項目流程做出來,大家只要跟著講師的思路和步驟一點一點學習和動手寫代碼,保證能夠讓大家達到一個大數據工程師該有的水準。
3、該套hadoop項目實戰視頻教程項目包括視頻教程、源碼、文檔資料,要求童鞋們結合視頻加文檔的方式進行學習開發。
4、本課程重點考慮項目的整個流程,讓大家徹底的深入了解大數據到底應該怎么玩,怎么去運用,整個的項目流程包括數據收集、數據清洗、數據導入Hive、業務分析、數據庫之間的導入。
二、hadoop項目實戰視頻教程結合spark開發電視收視率項目課程大綱
第01節項目的簡介 |
第02節項目的背景 |
第03節項目流程演示 |
第04節講課的內容和對應的知識點 |
第05節php展示統計分析之后的數據 |
第06節大數據架構介紹并且企業使用的測試集群環境和人員配置 |
第08節centos的安裝和網絡配置 |
第09節通過第三方連接centos的方法 |
第10節CentOS的yum源更新已經關閉防火墻 |
第11節JAVA的安裝和hadoop安裝 |
第12節完全分布式搭建(上) |
第13節完全分布式搭建(下) |
第14節通過hadoop自帶的demo運行單詞統計 |
第15節寫一個sh腳本,可以通過一臺機器控制多臺機器 |
第16節hadoop常用的命令簡單介紹 |
第17節maven的安裝 |
第18節maven的使用時出現的問題以及解決問題方法 |
第19節MAPREDUCE 示例編寫及編程規范 |
第20節安裝時間同步工具,讓所有電腦進行同步 |
第21節Hive簡介和工作流程 |
第22節Mysql的安裝,centos7安裝mysql注意點 |
第23節安裝Hive,并且使用Hive做一個小案例 |
第24節把txt文件的數據導入到Hive表中 |
第25節Flume采集系統結構圖 |
第26節Flume的安裝部署和實戰 |
第27節sqoop數據遷移和安裝 |
第28節sqoop數據從hadoop里面導入到mysql里面 |
第29節sqoop數據從mysql里面導入到hadoop里面 |
第30節Azkaban介紹和安裝 |
第31節Azkaban創建SSL配置和配置文件 |
第32節Azkaban實戰通過5個不同場景介紹原理 |
第33節電視采集項目流程篇之通過linux日志收集數據到hdfs上面 |
第34節電視采集項目流程篇之通過MAPREDUCE 把收集數據進行清洗 |
第35節電視采集項目流程篇之清洗數據綁定到hive表中(上) |
第36節電視采集項目流程篇之清洗數據綁定到hive表中(下) |
第37節根據hive綁定數據統計計算保存到hive表中 |
第38節電視采集項目流程篇之把hive表中數據導入到mysql中 |
第39節電視采集項目流程篇之安裝php環境并且快速熟悉php語法 |
第40節電視采集項目流程篇之安裝php和echarts進行結合展示圖表 |
第41節電視采集項目流程篇之Azkaban調度腳本的編寫 |
第42節電視采集項目流程篇之Azkaban流程調度演示最終在php頁面展示 |
第43節hadoop和hive項目怎么平滑的轉到spark上面介紹 |
第44節Spark介紹和整體架構 |
第45節Spark歷史和特點 |
第46節Spark下載源碼和安裝和使用 |
第47節Spark創建RDD集合 |
第48節Spark中transformation的介紹 |
第49節Spark中action的介紹 |
第50節Spark SQL發展史 |
第51節HiveContext |
第52節Spark SQL和DataFrame |
第53節電視采集項目流程如何把hadoop項目平滑過渡到spark項目上 |
第54節電視采集項目流程spark篇通過sparksql處理業務邏輯上 |
第55節電視采集項目流程spark篇通過sparksql處理業務邏輯下 |
第56節電視采集項目流程spark篇通過Azkaban調度spark |
第57節項目總體總結 |
第58節簡歷指導 |
相關文章 |