java實(shí)現(xiàn)大文本文件拆分
本文實(shí)例為大家分享了java實(shí)現(xiàn)大文本文件拆分的具體代碼,供大家參考,具體內(nèi)容如下
生成大文件
public static void createBigFile() throws IOException {
File file = new File("/Users/yangpeng/Documents/temp/big_file.csv");
FileWriter fileWriter = new FileWriter(file);
BufferedWriter bufferedWriter = new BufferedWriter(fileWriter);
String str = "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa1";
for (int i = 0; i < 1000000; i++) {
bufferedWriter.write(str);
bufferedWriter.newLine();
}
bufferedWriter.flush();
bufferedWriter.close();
}
文件拆分
此處沒(méi)有給出根據(jù)文件大小計(jì)算需要拆分的文件數(shù)量,所以這里是給定一個(gè)拆分文件數(shù)量
思路
思路:給定帶拆分?jǐn)?shù)量,計(jì)算出每個(gè)文件的平均字節(jié)數(shù),然后循環(huán)文件數(shù)進(jìn)行每個(gè)文件的拆分。拆分第一個(gè)文件時(shí),根據(jù)平均字節(jié)數(shù)往后取給定的大約行字節(jié)數(shù)的字節(jié),然后循環(huán)字節(jié)判斷是否為\r或者\(yùn)n,如果字節(jié)為\r或者\(yùn)n則代表到達(dá)行末尾,記錄行尾字節(jié)位置。知道了開(kāi)頭字節(jié)位置與結(jié)束字節(jié)位置,就可以將此位置之間的數(shù)據(jù)生成子文件了。繼續(xù)循環(huán)拆分下個(gè)文件,基于上個(gè)文件記錄的結(jié)束字節(jié)位置繼續(xù)計(jì)算當(dāng)前文件的結(jié)束位置,直到到達(dá)拆分文件的數(shù)量或者大文件讀取完畢。
舉個(gè)栗子:
有一個(gè)3行記錄的文件,假設(shè)每行記錄行字節(jié)包含換行符的字節(jié)數(shù)為100,也就是說(shuō)這個(gè)文件的總字節(jié)數(shù)為300。

我現(xiàn)在要將這個(gè)文件拆分成2個(gè)。按照上面的思路,首先我需要計(jì)算出文件的平均值300/2=150,這里計(jì)算出的平均值并不是拆分出來(lái)的子文件一定是150,因?yàn)檫@個(gè)數(shù)字位置的字節(jié)有可能在一行的中間,那么我要基于這個(gè)數(shù)字算出下個(gè)換行符出現(xiàn)的位置當(dāng)做我這個(gè)子文件的結(jié)束位。

所以我給定一個(gè)行字節(jié)數(shù)100+150=250,這個(gè)150到250之間的字節(jié)我認(rèn)為有換行符,所以我輪詢這100字節(jié),判斷是否為換行符,結(jié)果我輪到到50的位置發(fā)現(xiàn)了換行。

那么我這個(gè)第一個(gè)文件的結(jié)束位置是150+50=200,然后將0到200之間的字節(jié)生成第一個(gè)文件。然后基于這個(gè)200的位置繼續(xù)拆分下個(gè)文件,由于200+150已經(jīng)大于了源文件的大小,所以直接將200到300的數(shù)據(jù)生成一個(gè)子文件。所以最終的結(jié)果是一二行為一個(gè)子文件,三行為第二個(gè)子文件。
代碼
考慮到性能與內(nèi)存占用的問(wèn)題,此處實(shí)現(xiàn)采用NIO
public static void splitFile(String filePath, int fileCount) throws IOException {
FileInputStream fis = new FileInputStream(filePath);
FileChannel inputChannel = fis.getChannel();
final long fileSize = inputChannel.size();
long average = fileSize / fileCount;//平均值
long bufferSize = 200; //緩存塊大小,自行調(diào)整
ByteBuffer byteBuffer = ByteBuffer.allocate(Integer.valueOf(bufferSize + "")); // 申請(qǐng)一個(gè)緩存區(qū)
long startPosition = 0; //子文件開(kāi)始位置
long endPosition = average < bufferSize ? 0 : average - bufferSize;//子文件結(jié)束位置
for (int i = 0; i < fileCount; i++) {
if (i + 1 != fileCount) {
int read = inputChannel.read(byteBuffer, endPosition);// 讀取數(shù)據(jù)
readW:
while (read != -1) {
byteBuffer.flip();//切換讀模式
byte[] array = byteBuffer.array();
for (int j = 0; j < array.length; j++) {
byte b = array[j];
if (b == 10 || b == 13) { //判斷\n\r
endPosition += j;
break readW;
}
}
endPosition += bufferSize;
byteBuffer.clear(); //重置緩存塊指針
read = inputChannel.read(byteBuffer, endPosition);
}
}else{
endPosition = fileSize; //最后一個(gè)文件直接指向文件末尾
}
FileOutputStream fos = new FileOutputStream(filePath + (i + 1));
FileChannel outputChannel = fos.getChannel();
inputChannel.transferTo(startPosition, endPosition - startPosition, outputChannel);//通道傳輸文件數(shù)據(jù)
outputChannel.close();
fos.close();
startPosition = endPosition + 1;
endPosition += average;
}
inputChannel.close();
fis.close();
}
public static void main(String[] args) throws Exception {
Scanner scanner = new Scanner(System.in);
scanner.nextLine();
long startTime = System.currentTimeMillis();
splitFile("/Users/yangpeng/Documents/temp/big_file.csv",5);
long endTime = System.currentTimeMillis();
System.out.println("耗費(fèi)時(shí)間: " + (endTime - startTime) + " ms");
scanner.nextLine();
}
使用NIO可以高效的實(shí)現(xiàn)文件拆分,我的文件為100W行大小為1.02G的文本文件,拆分成5個(gè)子文件總耗時(shí)1224ms

后如下是使用jvisualvm監(jiān)控的程序內(nèi)存:

可以看到拆分期間內(nèi)存浮動(dòng)基本在1M左右。
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
IDEA報(bào)錯(cuò):無(wú)效的源發(fā)行版解決方案
很多小伙伴在刷新maven的時(shí)候總會(huì)報(bào) Error:java:無(wú)效的源發(fā)行版,下面這篇文章主要給大家介紹了關(guān)于IDEA報(bào)錯(cuò):無(wú)效的源發(fā)行版的解決方案,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09
Java中stream處理中map與flatMap的比較和使用案例
這篇文章主要介紹了Java中stream處理中map與flatMap的比較和使用案例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
Java編程實(shí)現(xiàn)高斯模糊和圖像的空間卷積詳解
這篇文章主要介紹了Java編程實(shí)現(xiàn)高斯模糊和圖像的空間卷積詳解,具有一定參考價(jià)值,需要的朋友可以了解下。2017-11-11
BeanUtils.copyProperties擴(kuò)展--實(shí)現(xiàn)String轉(zhuǎn)Date
這篇文章主要介紹了BeanUtils.copyProperties擴(kuò)展--實(shí)現(xiàn)String轉(zhuǎn)Date操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-06-06
Java調(diào)用DOS實(shí)現(xiàn)定時(shí)關(guān)機(jī)的實(shí)例
Java調(diào)用DOS實(shí)現(xiàn)定時(shí)關(guān)機(jī)的實(shí)例,需要的朋友可以參考一下2013-04-04
利用github搭建個(gè)人maven倉(cāng)庫(kù)的方法步驟
這篇文章主要介紹了利用github搭建個(gè)人maven倉(cāng)庫(kù)的方法步驟,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-12-12
使用FeignClient調(diào)用遠(yuǎn)程服務(wù)時(shí)整合本地的實(shí)現(xiàn)方法
這篇文章主要介紹了使用FeignClient調(diào)用遠(yuǎn)程服務(wù)時(shí)整合本地的實(shí)現(xiàn)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-03-03
spring啟動(dòng)錯(cuò)誤Singleton bean creation not al
本文主要介紹了spring啟動(dòng)錯(cuò)誤Singleton bean creation not allowed while the singletons of this factory are indestruction,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
Java編程實(shí)現(xiàn)統(tǒng)計(jì)數(shù)組中各元素出現(xiàn)次數(shù)的方法
這篇文章主要介紹了Java編程實(shí)現(xiàn)統(tǒng)計(jì)數(shù)組中各元素出現(xiàn)次數(shù)的方法,涉及java針對(duì)數(shù)組的遍歷、比較、運(yùn)算等相關(guān)操作技巧,需要的朋友可以參考下2017-07-07

