1.分布式的三種模式

2.Hadoop集群的運(yùn)行模式

Hadoop的運(yùn)行模式分為3種：

本地運(yùn)行模式（獨(dú)立模式，單機(jī)模式），

偽分布運(yùn)行模式，

集群運(yùn)行模式（完全分布式模式）

偽分布模式就是在一臺(tái)服務(wù)器上面模擬集群環(huán)境,但僅僅是機(jī)器數(shù)量少,其通信機(jī)制與運(yùn)行過程與真正的集群模式是一樣的，hadoop的偽分布運(yùn)行模式可以看做是集群運(yùn)行模式的特殊情況。

3.cloudera提供哪幾種安裝CDH方法

· Cloudera manager

· Tarball

· Yum

· Rpm

其中Yum及Rpm安裝可以算作一種安裝方式

4.Hadoop的模塊有哪些

5.Zookeeper的作用

6.Shuffle在MapReduce指的是什么？

7. resourceManager在YARN中的作用

8. 將打好的jar包，提交給YARA運(yùn)行，請(qǐng)寫出命令

9. 在完全分布式中，將副本數(shù)設(shè)置為7，在哪個(gè)配置文件中，如何配置

10. 如何確定map個(gè)數(shù)

11. MapReduce在hadoop中的作用

12. MapReduce分為哪兩個(gè)階段

13. Hadoop的序列化接口是什么

14. 自定義的MapReduce如何向yarn提交運(yùn)行

15. 自定義MapReduce的模型

16. 簡(jiǎn)述HDFS的作用

17. 在HDFS的主從架構(gòu)中，誰(shuí)是“主”

18. 簡(jiǎn)述namenode和DataNode的區(qū)別及關(guān)系

19. 如何將用戶hadoop家目錄下的1.log,上傳到HDFS的 /input目錄下，請(qǐng)寫出命令

20. 請(qǐng)回答secondaryNameNode在HDFS的作用

21. 把下面的語(yǔ)句用hive方式實(shí)現(xiàn)

22. Hive的特點(diǎn)是什么？Hive和rdbms的異同？

23. metastore是什么

24. Hive有哪些方式保存數(shù)據(jù)，各有哪些特點(diǎn)

25. Hive的本質(zhì)是什么

====================================================================

1. 搭建偽分布式hadoop開發(fā)環(huán)境

1、Linux環(huán)境

2、Jdk安裝

3、 關(guān)閉防火墻

4、配置hadoop

5、格式化namenode（不需要重復(fù)）

6、啟動(dòng)hdfs 守護(hù)進(jìn)程

7、Web 訪問界面  50070

8、配置YARN任務(wù)調(diào)度

9、啟動(dòng)hdfs YARA進(jìn)程

10、檢查YARN狀態(tài)

11、向YARN提交任務(wù)

2. 編寫代碼測(cè)試HDFS API

3. 編寫MapReduce程序，實(shí)現(xiàn)wordcount的功能

4. 實(shí)現(xiàn)編程測(cè)試數(shù)據(jù)的統(tǒng)計(jì)

5. 搭建hadoop完全分布式簡(jiǎn)單步驟

1、虛擬機(jī)裝備

2、網(wǎng)絡(luò)配置完好

3、JDK安裝

4、Ssh 配置

5、同步服務(wù)器時(shí)間

6、Hadoop集群配置

A:環(huán)境變量

B:hadoop文件配置，修改

7、啟動(dòng)hadoop集群

8、Web端口訪問。

6. 編寫MR統(tǒng)計(jì)分省PV及臟數(shù)據(jù)

7. hive的安裝和使用

8. Hive架構(gòu)，分三個(gè)部分來講解，最好通過畫圖理解

9. 為什么說hive是hadoop的數(shù)據(jù)倉(cāng)庫(kù)，從【數(shù)據(jù)存儲(chǔ)和分析】方面理解

10. Hive能做什么，與MapReduce相比較優(yōu)勢(shì)在哪（對(duì)于開發(fā)者）

最新評(píng)論