spark課程內(nèi)容
課程內(nèi)容介紹
spark第一部分
?01.spark介紹.avi
?02.spark實(shí)現(xiàn)wordcount.avi
?03.spark實(shí)現(xiàn)wordcount過(guò)濾指定字符.avi
?04.在idea下開(kāi)發(fā)scala的spark程序.avi
?05.idea下java版wordcount.avi
spark第二部分
?01.Spark RDD介紹.avi
?02.spark筆記.txt
?02.搭建spark standaone模式集群.avi
?03.spark進(jìn)程管理命令.avi
?04.spark獨(dú)立模式整合hadoop HA并實(shí)現(xiàn)hdfs文件加載計(jì)算.avi
?05.spark 提交作業(yè).avi
?06.spark并行計(jì)算打印結(jié)果考察.avi
?07.spark RDD介紹-RDD變換.avi
?08.spark mapPartitions.avi
?09.mapPartitionsWithIndex.avi
?10.sample.avi
?11.union-intersection-distinct.avi
?12.groupByKey.avi
?13.計(jì)算班級(jí)的統(tǒng)計(jì)分?jǐn)?shù).avi
?14.aggregateByKey.avi
?15.sortByKey.avi
?16.sortBy-groupBy一般性方法.avi
?17.join.avi
?18.cogroup協(xié)分組.avi
?19.笛卡爾積連接.avi
spark第三部分
01.pipe.avi
02.減少分區(qū)和再分區(qū).avi
03.再分區(qū)并分區(qū)內(nèi)排序.avi
04.action-reduce-take-first-count.avi
05.action-保存成文本和seq文件.avi
06.action-countBykey-saveSeq.avi
07.sparkcontext-作業(yè)啟動(dòng)-master模式-并發(fā)度.avi
08.DAG調(diào)度器-stage階段分析.avi
09.寬依賴(lài)-窄依賴(lài).avi
10.DAG調(diào)度器-task調(diào)度器.avi
11.ActiveJob-Stage-Task.avi
12.SparkJob提交流程分析-1.avi
13.SparkJob提交流程分析-2.avi
14.SparkJob提交流程分析-3.avi
15.SparkJob提交流程分析-4.avi
16.SparkJob提交流程分析-5.avi
spark第四部分
01.spark job提交回顧-1.avi
02.spark job提交回顧-2-inbox創(chuàng)建過(guò)程.avi
03.spark job提交回顧-3-事件處理過(guò)程.avi
04.spark job提交回顧-4-總結(jié).avi
05.RDD持久化.avi
06.RDD持久化-disk.avi
07.RDD持久化-測(cè)試map-flatMap.avi
08.完全分布式下持久化操作.avi
09.累加器.avi
10.廣播變量.avi
11.百度外賣(mài)標(biāo)簽生成程序.avi
12.百度外賣(mài)標(biāo)簽生成程序2.avi
13.百度外賣(mài)標(biāo)簽生成程序3-商家結(jié)果全排序.avi
14.spark job的部署模式.avi
15.spark yarn模式.avi
spark第五部分
?01.標(biāo)簽生成java版.avi
?02.Spark master節(jié)點(diǎn)HA配置.avi
?03.Spark master節(jié)點(diǎn)HA容災(zāi)演練.avi
?04.Spark SQL演示.avi
?05.Spark SQL customer樣例演示.avi
?06.Spark SQL 常見(jiàn)查詢(xún).avi
?07.Spark SQL Scala編程.avi
?08.Spark SQL DataFrameAPI編程.avi
?09.Spark SQL parquet-json-jdbc訪(fǎng)問(wèn).avi
?10.配置spark成為分布式查詢(xún)引擎-hive整合.avi
?11.配置spark成為分布式查詢(xún)引擎-hive整合-自定義函數(shù)有問(wèn)題.avi
?12.Spark SQL ThriftServer客戶(hù)端 API使用hive-jdbc類(lèi)庫(kù).avi
?13.spark的textFile方法源代碼分析.avi
spark第六部分
01.Spark stream介紹.avi
02.體驗(yàn)Spark stream計(jì)算-文本流.avi
03.體驗(yàn)Spark stream-java版編程流計(jì)算.avi
04.DStream-注意事項(xiàng).avi
05.spark流計(jì)算-窗口化計(jì)算.avi
06.窗口化操作API.avi
07.spark-streaming-updateStateByKey.avi
08.spark-streaming-updateStateByKey-2.avi
09.spark-streaming-檢查點(diǎn)-實(shí)驗(yàn).avi
10.spark-streaming-kafka系統(tǒng)集成.avi
11.Spark SQL集成hive UDF函數(shù).avi
12.SparkSQL集成hiveUDF.avi