Mac OS X Yosemite上安裝Hadoop教程
發(fā)布時(shí)間：2015-04-21 14:18:15 作者：佚名 
我要評(píng)論
我要評(píng)論這篇文章主要介紹了Mac OS X Yosemite上安裝Hadoop教程,本文講解了安裝Homebrew和Cask、安裝Java、配置SSH、安裝Hadoop、配置Hadoop等內(nèi)容,需要的朋友可以參考下
1. 安裝Homebrew和Cask
打開Mac終端, 安裝OS X 不可或缺的套件管理器homebrew和homebrew cask
復(fù)制代碼
代碼如下:$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" $ brew install caskroom/cask/brew-cask
2. 安裝Java
Hadoop是由Java編寫, 所以需要預(yù)先安裝Java 6或者更高的版本
復(fù)制代碼
代碼如下:$ brew update && brew upgrade brew-cask && brew cleanup && brew cask cleanup $ brew cask install java
測試是否安裝成功
復(fù)制代碼
代碼如下:$ java -version
3. 配置SSH
為了確保在遠(yuǎn)程管理Hadoop以及Hadoop節(jié)點(diǎn)用戶共享時(shí)的安全性, Hadoop需要配置使用SSH協(xié)議
首先在系統(tǒng)偏好設(shè)置->共享->打開遠(yuǎn)程登錄服務(wù)->右側(cè)選擇允許所有用戶訪問
生成密鑰對,執(zhí)行如下命令
復(fù)制代碼
代碼如下:$ ssh-keygen -t rsa
執(zhí)行這個(gè)命令后, 會(huì)在當(dāng)前用戶目錄中的.ssh文件夾中生成id_rsa文件, 執(zhí)行如下命令:
復(fù)制代碼
代碼如下:$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
使用下面命令測試是否能夠不使用密碼登錄
復(fù)制代碼
代碼如下:$ ssh localhost # Last login: Thu Mar 5 17:30:07 2015
4. 安裝Hadoop
復(fù)制代碼
代碼如下:$ brew install hadoop
Hadoop會(huì)被安裝在/usr/local/Cellar/hadoop目錄下
4.1. 配置Hadoop
配置hadoop-env.sh
在目錄/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hadoop-env.sh文件
找到其中一行:
復(fù)制代碼
代碼如下:export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
修改為:
復(fù)制代碼
代碼如下:export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
在目錄/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到core-site.xml
復(fù)制代碼
代碼如下:<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/Cellar/hadoop/hdfs/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
在目錄/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到mapred-site.xml, 在其中添加:
復(fù)制代碼
代碼如下:<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9010</value> </property> </configuration>
在目錄/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hdfs-site.xml
復(fù)制代碼
代碼如下:<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
在運(yùn)行后臺(tái)程序前, 必須格式化新安裝的HDFS, 并通過創(chuàng)建存儲(chǔ)目錄和初始化元數(shù)據(jù)創(chuàng)新空的文件系統(tǒng), 執(zhí)行下面命令:
復(fù)制代碼
代碼如下:$ hadoop namenode -format #生成類似下面的字符串: DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. 15/03/05 20:04:27 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = Andrew-liudeMacBook-Pro.local/192.168.1.100 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.6.0 ... #此書省略大部分 STARTUP_MSG: java = 1.6.0_65 ************************************************************ /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at Andrew-liudeMacBook-Pro.local/192.168.1.100 ************************************************************/
4.2. 啟動(dòng)后臺(tái)程序
在/usr/local/Cellar/hadoop/2.6.0/sbin目錄下, 執(zhí)行如下命令
復(fù)制代碼
代碼如下:$ ./start-dfs.sh #啟動(dòng)HDFS $ ./stop-dfs.sh #停止HDFS
成功啟動(dòng)服務(wù)后, 可以直接在瀏覽器中輸入http://localhost:50070/訪問Hadoop頁面
相關(guān)文章
蘋果發(fā)布 macOS 26.4.1 正式版:提升2026款MacBook網(wǎng)絡(luò)穩(wěn)定性
昨天蘋果推送了 iOS 26.4.1 和 iPadOS 26.4.1 正式版，今天蘋果又給 Mac 用戶發(fā)布了 macOS 26.4.1 正式版, macOS 26.4.1 正式版的版本號(hào)是 25E253，屬于一次小版本更新2026-04-10升級(jí)macOS26.4后時(shí)間機(jī)器出現(xiàn)NAS備份故障:附解決辦法
部分Mac用戶升級(jí)macOS 26.4后，用戶現(xiàn)無法使用時(shí)間機(jī)器（Time Machine）將數(shù)據(jù)備份到網(wǎng)絡(luò)硬盤，系統(tǒng)反復(fù)彈出憑據(jù)錯(cuò)誤提示，下面我們就來看看手動(dòng)解決辦法2026-04-01提醒用戶使用更大功率充電器! 蘋果macOS 26.4新增慢速充電器提示
如果你覺得 MacBook 充電速度不夠快，macOS 26.4 可以幫你確認(rèn)這一問題，最新的Mac系統(tǒng)更新在系統(tǒng)設(shè)置的電池板塊中新增了一項(xiàng)功能2026-03-26新增MacBook Neo壁紙! 蘋果 macOS 26.4 開發(fā)者預(yù)覽版 Beta 4發(fā)布
蘋果在最新推出的 macOS Tahoe 26.4 第四個(gè)開發(fā)者測試版中，將原本隨 MacBook Neo 首發(fā)的全新多彩桌面壁紙開放給所有 Mac 機(jī)型使用2026-03-11
你可以按下某些組合鍵來實(shí)現(xiàn)通常需要鼠標(biāo)或觸控板才能完成的操作,每個(gè) App 都有自己的快捷鍵，在一個(gè) App 中有用的快捷鍵可能不能用于另一個(gè) App2026-03-07
一定要知道的MAC快捷鍵(文本、網(wǎng)頁與app操作)
這里為你整理了11個(gè)非常實(shí)用且高頻的Mac快捷鍵，涵蓋了從日常操作到窗口管理的方方面面，無論你是新手還是老用戶，都能有效提升效率2026-03-07
mac一鍵最小化所有窗口快捷鍵 macOS蘋果系統(tǒng)最小化當(dāng)前窗口
Mac 沒有內(nèi)置的快捷鍵能直接一鍵最小化所有應(yīng)用程序的所有窗口，但可以通過以下幾種方法實(shí)現(xiàn)類似效果2026-03-06效率直接翻倍! 蘋果未曾重點(diǎn)宣發(fā)的6個(gè)macOS隱藏功能
Mac 用戶 90% 都不知道的隱藏功能，今天我將帶你深入探索幾個(gè)我每天都在高頻使用的 macOS 隱藏神技2026-03-05Mac系統(tǒng)怎么添加刪除和延遲啟動(dòng)應(yīng)用程序?
擁有過多的登錄項(xiàng)會(huì)增加Mac的啟動(dòng)時(shí)間并降低其性能，啟動(dòng)應(yīng)用程序也可能是惡意的，因此刪除它們對于保持Mac的健康至關(guān)重要，下面我們就來看看mac刪除添加開機(jī)自啟動(dòng)軟件的2026-03-03蘋果macOS 26.4開發(fā)者預(yù)覽版 Beta 2發(fā)布:修復(fù)窗口縮小指針不跟隨問題
2026年2月24日，蘋果向注冊開發(fā)者推送macOS 26.4開發(fā)者預(yù)覽版Beta 2（內(nèi)部版本號(hào)25E5218f）,本次更新距上一版Beta/RC發(fā)布僅隔7天，屬常規(guī)迭代2026-02-24
