VMware虛擬機下hadoop1.x的安裝方法
更新時間：2017年09月19日 15:14:03 作者：W.Yentl
這篇文章主要為大家詳細介紹了VMware虛擬機下hadoop1.x的安裝方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下
這是Hadoop學習全程記錄第1篇，在這篇里我將介紹一下如何在Linux下安裝Hadoop1.x。
先說明一下我的開發(fā)環(huán)境：
虛擬機：VMware8.0；
操作系統(tǒng)：CentOS6.4；
版本：jdk1.8；hadoop1.2.1
①下載hadoop1.2.1，網(wǎng)盤：鏈接: https://pan.baidu.com/s/1sl5DMIp 密碼: 5p67
下載jdk1.8，網(wǎng)盤：鏈接: https://pan.baidu.com/s/1boN1gh5 密碼: t36h
將 jdk-8u144-linux-x64.tar.gz 解壓至 /home/wyt/jdk8 文件夾下，將 hadoop-1.2.1.tar.gz 解壓至 /home/wyt/hadoop 文件夾下。
②配置jdk及hadoop環(huán)境變量：修改/etc/profile文件
vim /etc/profile //輸入I，進入編輯模式
export JAVA_HOME=/home/wyt/jdk8 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib export HADOOP_HOME=/home/wyt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin
//按Esc，按Shift，輸入：wq source /etc/profile //保存并退出
③測試
java，javac，java -version hadoop
④修改hadoop配置文件
<!-- hadoop-env.sh --> export JAVA_HOME=/usr/java/jdk8 <!-- core-site.xml --> <property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <!-- hdfs-site.xml --> <property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property> <!-- mapred-site.xml --> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property>
并在hadoop安裝目錄下新建data、name、tmp文件夾。
⑤名稱節(jié)點格式化，并查看運行狀態(tài)
hadoop namenode -format //cd 命令切換至 hadoop/bin/文件夾下，輸入 ls 命令查看 start-all.sh jps //查看運行狀態(tài)，運行正常的話需要多次輸入密碼 //最后結(jié)果為： // Jps // JobTracker // NameNode // DataNode // SecondaryNameNode // NodeManager
⑥測試hdfs
//常用hdfs命令： hadoop fs -ls /查看目錄 hadoop fs -put a.txt /user/hadoop/放入 hadoop fs -cat /user/hadoop/a.txt 查看內(nèi)容 hadoop fs -rmr /output：刪除文件/文件夾
附：linux常用命令：
cd .. //返回上級目錄 cd ~ //返回Home目錄 cd / //返回根目錄 cd var/ //進入var/文件夾下（使用tab） su - //超級管理員模式 ifconfig //查看ip
附：其他常用linux操作軟件：
//windows與虛擬機centos文件傳輸： filezilla；Xftp 5；或者安裝VMware Tools（可便捷使用剪切板及文件復制功能） //脫離虛擬機centos輸入命令行： Xshell 5
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Java中SpringBoot自定義Starter詳解,Starter是Spring Boot中的一個非常重要的概念，Starter相當于模塊，它能將模塊所需的依賴整合起來并對模塊內(nèi)的Bean根據(jù)環(huán)境進行自動配置,需要的朋友可以參考下2023-07-07
這篇文章主要介紹了mybatis-plus 版本不兼容問題的解決，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
這篇文章主要介紹了MyBatis幾種不同類型傳參的方式總結(jié)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-12-12
這篇文章主要介紹了解決RedisTemplate的key默認序列化器的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
這篇文章主要介紹了Java線程之死鎖，死鎖是這樣一種情形-多個線程同時被阻塞，它們中的一個或者全部都在等待某個資源被釋放。由于線程被無限期地阻塞，因此程序不可能正常終止2022-05-05
Java使用設(shè)計模式中迭代器模式構(gòu)建項目的代碼結(jié)構(gòu)示例
這篇文章主要介紹了Java使用設(shè)計模式中迭代器模式構(gòu)建項目的代碼結(jié)構(gòu)示例,迭代器模式能夠?qū)υL問者隱藏對象的內(nèi)部細節(jié),需要的朋友可以參考下2016-05-05
這篇文章主要介紹了Maven進階多環(huán)境配置與應用,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-08-08
MyBatis是一個支持普通SQL查詢，存儲過程和高級映射的優(yōu)秀持久層框架。這篇文章主要介紹了mybatis中批量插入的兩種方式(高效插入)的相關(guān)資料，非常不錯，具有參考借鑒價值，感興趣的朋友一起看看吧2016-09-09
如何使用spring?boot的程序主線程中異步訪問外部接口
CompletableFuture.supplyAsync提供了一種強大的工具，使您能夠以異步方式執(zhí)行操作，充分利用多核處理器和提高程序性能，同時保持代碼的清晰性和可維護性，本文給大家介紹使用spring?boot的程序主線程中異步訪問外部接口，感興趣的朋友一起看看吧2023-10-10
這篇文章主要為大家詳細介紹了Java實現(xiàn)二分查找的變種，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-12-12