《Hadoop大數(shù)據(jù)平臺構建與應用（云計算技術與應用專業(yè)校企合作系列教材）》以“高職院校學情分析”系統(tǒng)為項目原型，以任務驅(qū)動為主線，基于Hadoop大數(shù)據(jù)平臺，講解大數(shù)據(jù)平臺的搭建與運維、大數(shù)據(jù)的采集與存儲、大數(shù)據(jù)的處理、數(shù)據(jù)的分析、數(shù)據(jù)的可視化等完整的大數(shù)據(jù)應用案例，全面詳細地講述Hadoop、MapReduee、HDFS、Hive和Sqoop等技術的相關知識，并詳細討論了Mahout大數(shù)據(jù)分析中的常用算法——K—means聚類算法、Canopy聚類算法、歐氏距離算法、余弦距離算法、皮爾遜相關系數(shù)算法、TF—IDF加權算法等的使用及相關學情分析系統(tǒng)中算法的實現(xiàn)等。

《Hadoop大數(shù)據(jù)平臺構建與應用/云計算技術與應用專業(yè)校企合作系列教材》具有較強的實用性和可操作性，語言精練，通俗易懂，操作步驟描述詳盡，并配有大量操作圖例。

《Hadoop大數(shù)據(jù)平臺構建與應用/云計算技術與應用專業(yè)校企合作系列教材》可作為高等職業(yè)院校大數(shù)據(jù)應用專業(yè)、軟件技術專業(yè)、云計算技術與應用專業(yè)的大數(shù)據(jù)分析與軟件開發(fā)等相關課程的教材，也可作為從事大數(shù)據(jù)分析、云計算應用等系統(tǒng)開發(fā)與分析技術人員的參考用書。

目錄
 

項目1 認識大數(shù)據(jù)，實現(xiàn)學情分析
系統(tǒng)設計與環(huán)境搭建
學習目標
學習情境
任務1．1 設計學情分析系統(tǒng)
任務描述
任務目標
知識準備
任務實施
項目實訓
任務1．2 構建學情分析系統(tǒng)開發(fā)
環(huán)境
任務描述
任務目標
知識準備
任務實施
項目實訓
項目小結
項目2 Hadoop大數(shù)據(jù)平臺的構建
學習目標
學習情境
任務2．1 搭建Ambari Hadoop
系統(tǒng)
任務描述
任務目標
知識準備
任務實施
項目實訓
任務2．2 使用Apache Ambari
管理Had0叩集群
任務描述
任務目標
知識準備
任務實施
項目買訓
項目小結
項目3 就業(yè)崗位數(shù)據(jù)的采集和
存儲
學習目標
學習情境
任務3．1 使用網(wǎng)絡爬蟲采集崗位
招聘數(shù)據(jù)
任務描述
任務目標
知識準備
任務實施
項目實訓
任務3．2 將采集的數(shù)據(jù)上傳到
HDFS
任務描述
任務目標
知識準備
任務實施
項目實訓
任務3．3 使用Sqoop轉換MySQL
中的學生成績數(shù)據(jù)到
Hive中
任務描述
任務目標
知識準備
任務實施
項目實訓
項目小結
項目4 崗位數(shù)據(jù)的處理
學習目標
學習情境
任務4．1 使用Hadoop MR對數(shù)據(jù)
進行清洗
任務描述
任務目標
知識準備
任務實施
項目實訓
任務4．2 使用命令行對Hive進行
數(shù)據(jù)查詢和過濾
任務描述
任務目標
知識準備
任務實施
項目實訓
任務4．3 使用Java API對Hive
進行連接與操作
任務描述
任務目標
知識準備
任務實施
項目實訓
項目小結
項目5 崗位和技能數(shù)據(jù)的
分析
學習目標
學習情境
任務5．1 使用Mahout命令進行
崗位聚類分析
任務描述
任務目標
知識準備
任務實施
項目實訓
任務5．2 使用Mahout的Java API
進行崗位分析聚類
開發(fā)
任務描述
任務目標
知識準備
任務實施
項目實訓
任務5．3 使用：Mahout推薦工作
崗位
任務描述
任務目標
知識準備
任務實施
項目實訓
項目小結
項目6 數(shù)據(jù)的可視化
學習目標
學習情境
任務6．1 使用Excel可視化
數(shù)據(jù)
任務描述
任務目標
知識準備
任務實施
項目實訓
任務6．2 使用EChaas可視化
數(shù)據(jù)
任務描述
任務目標
知識準備
任務實施
項目實訓
任務6．3 使用D3．js可視化
數(shù)據(jù)
任務描述
任務目標
知識準備
任務實施
項目實訓
項目小結
參考文獻