分布式課程培訓
?
分布式課程培訓
本培訓課程針對有一定編程基礎的學員:了解Linux,熟悉Java編程。
通過本次課程,學員能夠了解主流的分布式處理方案以及實際的實用案例,并能夠根據自己的業務需要采用相應的方案解決實際的問題。
課程大綱:
內容
AM
分布式解決方案介紹
Hadoop?Ecosystem與實際應用案例
-?分布式存儲系統:HDFS
-?分布式計算系統:MapReduce
-?海量數據分析系統:Hive
-?分布式協調系統:Zookeeper
-?分布式實時讀寫數據存儲系統:HBase
-?工作流調度系統:Ooize
NoSQL與實際應用案例
-?NoSQL與SQL的關系
-?NoSQL適合的場景?
-?面向列的存儲:Cassandra
-?文檔數據庫:MongoDB
-?優點?
-?不足?
-?圖數據庫:Neo4j
PM
海量數據分析技術-MAPREDUCE
Map?Reduce編程詳解
-?map函數
-?reduce函數
-?排序與分區
跨語言MR框架:Streaming
-?原理
-?實際應用
Hadoop文件壓縮
-?gzip
-?bz2
-?lzo
Hadoop文件格式
-?TextFile
-?SequenceFile
-?RCFile
輸入格式
-?TextInputFormat
-?SequenceFileInputFormat
-?RCFileInputFormat
輸出格式
-?TextOutputFormat
-?SequenceFileOutputFormat
-?RCFileOutputFormat
-?MultipleOutputs
海里網站日志分析系統示例
-?網站日志介紹
-?業務分析
-?系統實現
AM
Hadoop的架設與維護
生產環境部署?
參數配置?
運維操作?
監控策略
PM
Cassandra的原理與實際應用
數據模型?
編程接口?
-?一致性模型與數據容錯?
-?CAP
-?ReadRepair
-?Hint
-?AntiPoint
底層文件存儲格式?
與Map?Reduce的整合?
實際應用案例
HBase
數據模型?
編程接口?
底層文件格式?
集群管理?
數據容錯?
與Map?Reduce的整合
?