快捷導(dǎo)航

如何安裝Hadoop并運(yùn)行WordCount程序

更新時(shí)間：2025年05月14日 10:26:09 作者：依年南臺(tái)

這篇文章主要介紹了如何安裝Hadoop并運(yùn)行WordCount程序,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧

一、安裝 Java

Hadoop 依賴 Java，首先需要安裝 Java 開發(fā)工具包（JDK）。以 Ubuntu 為例：

sudo apt update
sudo apt install openjdk-8-jdk

安裝后，設(shè)置環(huán)境變量：

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

二、安裝 Hadoop

下載 Hadoop：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

配置環(huán)境變量：

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

配置 Hadoop： core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml：

xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/data/datanode</value>
    </property>
</configuration>

三、啟動(dòng) Hadoop

格式化 NameNode：

hdfs namenode -format

啟動(dòng) HDFS 和 YARN：

start-dfs.sh
start-yarn.sh

驗(yàn)證服務(wù)：
訪問 http://localhost:9870 查看 HDFS 界面，http://localhost:8088 查看 YARN 界面。

四、運(yùn)行 WordCount 程序

準(zhǔn)備輸入數(shù)據(jù)：

echo "Hello Hadoop World" > input.txt
hdfs dfs -mkdir -p /user/input
hdfs dfs -put input.txt /user/input

執(zhí)行 WordCount：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input /user/output

查看結(jié)果：

hdfs dfs -cat /user/output/part-r-00000

到此這篇關(guān)于如何安裝Hadoop并運(yùn)行WordCount程序的文章就介紹到這了,更多相關(guān)Hadoop安裝和WordCount程序內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

Java使用Hutool實(shí)現(xiàn)AES、DES加密解密的方法
本篇文章主要介紹了Java使用Hutool實(shí)現(xiàn)AES、DES加密解密的方法，具有一定的參考價(jià)值，有興趣的可以了解一下
2017-08-08
SpringBoot項(xiàng)目實(shí)現(xiàn)分布式事務(wù)的實(shí)戰(zhàn)指南
在微服務(wù)架構(gòu)中,分布式事務(wù)是確?？绶?wù)數(shù)據(jù)一致性的關(guān)鍵技術(shù),SpringBoot作為主流的Java開發(fā)框架,提供了多種分布式事務(wù)解決方案,本文將深入探討這些方案,幫助開發(fā)者根據(jù)業(yè)務(wù)場(chǎng)景選擇最適合的方案,需要的朋友可以參考下
2025-10-10
Maven入門之使用Nexus搭建Maven私服及上傳下載jar包
這篇文章主要介紹了Maven入門之使用Nexus搭建Maven私服及上傳下載jar包，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2018-12-12
在IDEA中配置Maven鏡像的最新方法
這篇文章主要給大家介紹了關(guān)于在IDEA中配置Maven鏡像的最新方法,Maven是一個(gè)流行的Java項(xiàng)目構(gòu)建工具,它依賴于互聯(lián)網(wǎng)上的Mave中央倉庫來下載和管理項(xiàng)目依賴庫,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下
2023-11-11
詳解MyBatis-Plus Wrapper條件構(gòu)造器查詢大全
這篇文章主要介紹了詳解MyBatis-Plus Wrapper條件構(gòu)造器查詢大全，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-08-08
Windows下Java調(diào)用OCR進(jìn)行圖片識(shí)別
這篇文章主要為大家詳細(xì)介紹了Windows下Java調(diào)用OCR進(jìn)行圖片識(shí)別，通過Tesseract-OCR對(duì)圖片進(jìn)行識(shí)別，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-12-12
解決SpringBoot整合MybatisPlus分模塊管理遇到的bug
這篇文章主要介紹了解決SpringBoot整合MybatisPlus分模塊管理遇到的bug，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2021-07-07
JAVA多線程與并發(fā)學(xué)習(xí)總結(jié)分析
以下是對(duì)小編對(duì)JAVA多線程與并發(fā)的學(xué)習(xí)進(jìn)行了總結(jié)介紹，需要的朋友可以過來參考下
2013-08-08
SpringBoot與單元測(cè)試JUnit的結(jié)合操作
這篇文章主要介紹了SpringBoot與單元測(cè)試JUnit的結(jié)合操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2021-10-10
詳解spring boot使用@Retryable來進(jìn)行重處理
本篇文章主要介紹了詳解spring boot使用@Retryable來進(jìn)行重處理，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2017-06-06