最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

HDFS中JAVA API的使用

 更新時(shí)間:2017年07月04日 15:22:07   作者:殘劍_  
HDFS是一個(gè)分布式文件系統(tǒng),既然是文件系統(tǒng),就可以對(duì)其文件進(jìn)行操作,比如說新建文件、刪除文件、讀取文件內(nèi)容等操作。下面記錄一下使用JAVA API對(duì)HDFS中的文件進(jìn)行操作的過程

HDFS是一個(gè)分布式文件系統(tǒng),既然是文件系統(tǒng),就可以對(duì)其文件進(jìn)行操作,比如說新建文件、刪除文件、讀取文件內(nèi)容等操作。下面記錄一下使用JAVA API對(duì)HDFS中的文件進(jìn)行操作的過程。

對(duì)分HDFS中的文件操作主要涉及一下幾個(gè)類:

Configuration類:該類的對(duì)象封轉(zhuǎn)了客戶端或者服務(wù)器的配置。

FileSystem類:該類的對(duì)象是一個(gè)文件系統(tǒng)對(duì)象,可以用該對(duì)象的一些方法來對(duì)文件進(jìn)行操作。FileSystem fs = FileSystem.get(conf);通過FileSystem的靜態(tài)方法get獲得該對(duì)象。

FSDataInputStream和FSDataOutputStream:這兩個(gè)類是HDFS中的輸入輸出流。分別通過FileSystem的open方法和create方法獲得。

具體如何對(duì)文件操作清下下面例子:

package com.hdfs;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HdfsTest {
  
  //創(chuàng)建新文件
  public static void createFile(String dst , byte[] contents) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path dstPath = new Path(dst); //目標(biāo)路徑
    //打開一個(gè)輸出流
    FSDataOutputStream outputStream = fs.create(dstPath);
    outputStream.write(contents);
    outputStream.close();
    fs.close();
    System.out.println("文件創(chuàng)建成功!");
  }
  
  //上傳本地文件
  public static void uploadFile(String src,String dst) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path srcPath = new Path(src); //原路徑
    Path dstPath = new Path(dst); //目標(biāo)路徑
    //調(diào)用文件系統(tǒng)的文件復(fù)制函數(shù),前面參數(shù)是指是否刪除原文件,true為刪除,默認(rèn)為false
    fs.copyFromLocalFile(false,srcPath, dstPath);
    
    //打印文件路徑
    System.out.println("Upload to "+conf.get("fs.default.name"));
    System.out.println("------------list files------------"+"\n");
    FileStatus [] fileStatus = fs.listStatus(dstPath);
    for (FileStatus file : fileStatus) 
    {
      System.out.println(file.getPath());
    }
    fs.close();
  }
  
  //文件重命名
  public static void rename(String oldName,String newName) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path oldPath = new Path(oldName);
    Path newPath = new Path(newName);
    boolean isok = fs.rename(oldPath, newPath);
    if(isok){
      System.out.println("rename ok!");
    }else{
      System.out.println("rename failure");
    }
    fs.close();
  }
  //刪除文件
  public static void delete(String filePath) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path path = new Path(filePath);
    boolean isok = fs.deleteOnExit(path);
    if(isok){
      System.out.println("delete ok!");
    }else{
      System.out.println("delete failure");
    }
    fs.close();
  }
  
  //創(chuàng)建目錄
  public static void mkdir(String path) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path srcPath = new Path(path);
    boolean isok = fs.mkdirs(srcPath);
    if(isok){
      System.out.println("create dir ok!");
    }else{
      System.out.println("create dir failure");
    }
    fs.close();
  }
  
  //讀取文件的內(nèi)容
  public static void readFile(String filePath) throws IOException{
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path srcPath = new Path(filePath);
    InputStream in = null;
    try {
      in = fs.open(srcPath);
      IOUtils.copyBytes(in, System.out, 4096, false); //復(fù)制到標(biāo)準(zhǔn)輸出流
    } finally {
      IOUtils.closeStream(in);
    }
  }
  
  
  public static void main(String[] args) throws IOException {
    //測(cè)試上傳文件
    //uploadFile("D:\\c.txt", "/user/hadoop/test/");
    //測(cè)試創(chuàng)建文件
    /*byte[] contents = "hello world 世界你好\n".getBytes();
    createFile("/user/hadoop/test1/d.txt",contents);*/
    //測(cè)試重命名
    //rename("/user/hadoop/test/d.txt", "/user/hadoop/test/dd.txt");
    //測(cè)試刪除文件
    //delete("test/dd.txt"); //使用相對(duì)路徑
    //delete("test1");  //刪除目錄
    //測(cè)試新建目錄
    //mkdir("test1");
    //測(cè)試讀取文件
    readFile("test1/d.txt");
  }

}

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • 基于java中byte數(shù)組與int類型的轉(zhuǎn)換(兩種方法)

    基于java中byte數(shù)組與int類型的轉(zhuǎn)換(兩種方法)

    下面小編就為大家?guī)硪黄趈ava中byte數(shù)組與int類型的轉(zhuǎn)換(兩種方法)。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2016-08-08
  • SpringCloud?Gateway實(shí)現(xiàn)請(qǐng)求解密和響應(yīng)加密的過程解析

    SpringCloud?Gateway實(shí)現(xiàn)請(qǐng)求解密和響應(yīng)加密的過程解析

    這篇文章主要介紹了SpringCloud?Gateway實(shí)現(xiàn)請(qǐng)求解密和響應(yīng)加密的相關(guān)知識(shí),本文環(huán)境使用比較新的?Java?17?和?SpringBoot?3.1.5,對(duì)應(yīng)到Spring的版本是?6.0.13,本文重心是網(wǎng)關(guān)項(xiàng)目,需要的朋友可以參考下
    2023-11-11
  • java實(shí)現(xiàn)文件上傳的詳細(xì)步驟

    java實(shí)現(xiàn)文件上傳的詳細(xì)步驟

    文件上傳是用戶將本地文件通過Web頁(yè)面提交到服務(wù)器的過程,涉及客戶端、服務(wù)器端、上傳表單等組件,在SpringBoot中,通過MultipartFile接口處理上傳文件,并將其保存在服務(wù)器,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2024-10-10
  • PowerJob的GridFsManager工作流程源碼解讀

    PowerJob的GridFsManager工作流程源碼解讀

    這篇文章主要為大家介紹了PowerJob的GridFsManager工作流程源碼解讀,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2024-01-01
  • jmeter接口測(cè)試教程及接口測(cè)試流程詳解(全網(wǎng)僅有)

    jmeter接口測(cè)試教程及接口測(cè)試流程詳解(全網(wǎng)僅有)

    Jmeter是由Apache公司開發(fā)的一個(gè)純Java的開源項(xiàng)目,即可以用于做接口測(cè)試也可以用于做性能測(cè)試。本文給大家分享jmeter接口測(cè)試教程及接口測(cè)試流程,感興趣的朋友跟隨小編一起看看吧
    2021-12-12
  • Java kafka如何實(shí)現(xiàn)自定義分區(qū)類和攔截器

    Java kafka如何實(shí)現(xiàn)自定義分區(qū)類和攔截器

    這篇文章主要介紹了Java kafka如何實(shí)現(xiàn)自定義分區(qū)類和攔截器,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-06-06
  • springboot開啟mybatis二級(jí)緩存的步驟詳解

    springboot開啟mybatis二級(jí)緩存的步驟詳解

    這篇文章給大家介紹了springboot開啟mybatis二級(jí)緩存的詳細(xì)步驟,文中通過代碼示例給大家講解的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下
    2024-02-02
  • SpringBoot中使用MongoDB的連接池配置

    SpringBoot中使用MongoDB的連接池配置

    由于MongoDB的客戶端本身就是一個(gè)連接池,因此,我們只需要配置客戶端即可,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-10-10
  • java9中g(shù)c log參數(shù)遷移

    java9中g(shù)c log參數(shù)遷移

    本篇文章給大家詳細(xì)講述了java9中g(shù)c log參數(shù)遷移的相關(guān)知識(shí)點(diǎn),對(duì)此有需要的朋友可以參考學(xué)習(xí)下。
    2018-03-03
  • 使用SpringBoot集成Thymeleaf和Flying?Saucer實(shí)現(xiàn)PDF導(dǎo)出

    使用SpringBoot集成Thymeleaf和Flying?Saucer實(shí)現(xiàn)PDF導(dǎo)出

    在?Spring?Boot?項(xiàng)目中,生成?PDF?報(bào)表或發(fā)票是常見需求,本文將介紹如何使用?Spring?Boot?集成?Thymeleaf?模板引擎和?Flying?Saucer?實(shí)現(xiàn)?PDF?導(dǎo)出,并提供詳細(xì)的代碼實(shí)現(xiàn)和常見問題解決方案,需要的朋友可以參考下
    2024-11-11

最新評(píng)論

兴海县| 康马县| 凤凰县| 东山县| 宝鸡市| 马尔康县| 湟中县| 嘉黎县| 开平市| 都匀市| 罗山县| 宜阳县| 正阳县| 宜昌市| 涡阳县| 教育| 当雄县| 永春县| 新营市| 武威市| 静宁县| 阜宁县| 新龙县| 塔河县| 天全县| 通化县| 桂林市| 南靖县| 儋州市| 秦皇岛市| 得荣县| 读书| 青岛市| 九寨沟县| 斗六市| 东辽县| 乐安县| 思南县| 神木县| 维西| 三门峡市|