最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

使用mmap實(shí)現(xiàn)多進(jìn)程對(duì)大文件拷貝

 更新時(shí)間:2019年10月16日 15:53:27   作者:hj605635529  
這篇文章主要介紹了使用mmap實(shí)現(xiàn)多進(jìn)程對(duì)大文件拷貝,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下

本文實(shí)例為大家分享了mmap實(shí)現(xiàn)文件多進(jìn)程拷貝,供大家參考,具體內(nèi)容如下

假設(shè)有一個(gè)超大文件,需對(duì)其完成拷貝工作。為提高效率,可采用多進(jìn)程并行拷貝的方法來實(shí)現(xiàn)。假設(shè)文件大小為len,共有n個(gè)進(jìn)程對(duì)該文件進(jìn)行拷貝。那每個(gè)進(jìn)程拷貝的字節(jié)數(shù)應(yīng)為len/n。但未必一定能整除,我們可以選擇讓最后一個(gè)進(jìn)程負(fù)責(zé)剩余部分拷貝工作。可使用len % (len/n)將剩余部分大小求出。

為降低實(shí)現(xiàn)復(fù)雜度,可選用mmap來實(shí)現(xiàn)源、目標(biāo)文件的映射,通過指針操作內(nèi)存地址,設(shè)置每個(gè)進(jìn)程拷貝的起始、結(jié)束位置。借助MAP_SHARED選項(xiàng)將內(nèi)存中所做的修改反映到物理磁盤上。

思路:

//1. 指定創(chuàng)建子進(jìn)程的個(gè)數(shù)
//2. 打開源文件
//3. 打開目的文件, 不存在則創(chuàng)建
//4. 獲取文件大小
//5. 根據(jù)文件大小拓展目標(biāo)文件
//6. 為源文件創(chuàng)建映射
//7. 為目標(biāo)文件創(chuàng)建映射
//8. 求出每個(gè)子進(jìn)程該拷貝的字節(jié)數(shù)
//9. 創(chuàng)建N個(gè)子進(jìn)程
//10. 子進(jìn)程完成分塊拷貝(注意最后一個(gè)子進(jìn)程拷貝起始位置)
//11. 釋放映射區(qū)

代碼如下:

#include<stdio.h>
#include<stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <unistd.h>
#include <sys/mman.h>
#include<sys/wait.h>
#include<string.h>
#include <fcntl.h>
 
 
int main(int argc,char*argv[])
{
 int n;
 if(argc < 3 || argc > 4)
 {
 printf("Enter like this : ./a.out file_src file_dst [proc_number]\n");
 exit(1);
 }
 else if(argc == 3) //用戶未指定,默認(rèn)創(chuàng)建5個(gè)進(jìn)程。
 n = 5;
 else
 n = atoi(argv[3]);
 
 //2.打開源文件
 int fd_src = open(argv[1],O_RDONLY);
 if(fd_src < 0)
 {
 perror("open");
 exit(2);
 }
 //3.打開目標(biāo)文件,不存在就創(chuàng)建,存在則截?cái)酁?的大小。
 int fd_dst = open(argv[2],O_RDWR |O_CREAT |O_TRUNC,0664);
 if(fd_dst < 0)
 {
 perror("open");
 exit(3);
 }
 //4.獲取源文件大小。
 struct stat sbuf;
 int ret = fstat(fd_src,&sbuf); //fd_src所指向的文件信息保存到結(jié)構(gòu)體sbuf中。
 if(ret < 0)
 {
 perror("fstat");
 exit(4);
 }
 int flen = sbuf.st_size; //源文件大小。
 if(flen < n) //文件長(zhǎng)度小于進(jìn)程個(gè)數(shù)。
 {
 n = flen;
 }
 //5.根據(jù)文件大小拓展目標(biāo)文件。
 ret = ftruncate(fd_dst,flen);//將參數(shù)fd指定的文件大小改為參數(shù)length指定的大小
 if(ret < 0)
 {
 perror("ftruncate");
 exit(5);
 }
 //6.為源文件創(chuàng)建映射。
// void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
//addr == NULL,表示內(nèi)核選擇一個(gè)合適的地址創(chuàng)建一個(gè)length大小的共享內(nèi)存,
 char *mp_src = (char*)mmap(NULL,flen,PROT_READ,MAP_SHARED,fd_src,0); //0,表示將fd_src所指向的文件從起始映射到共享內(nèi)存中,共享內(nèi)存的權(quán)限為只讀,進(jìn)程間共享。
 if(mp_src == MAP_FAILED) //mmap一定要檢查返回值。
 {
 perror("mmap");
 exit(6);
 }
 close(fd_src);
 
 //7.為目標(biāo)文件創(chuàng)建映射。
 char *mp_dst = (char*)mmap(NULL,flen,PROT_READ|PROT_WRITE,MAP_SHARED,fd_dst,0);
 if(mp_dst == MAP_FAILED) //mmap一定要檢查返回值。
 {
 perror("mmap");
 exit(7);
 }
 close(fd_dst);
 
 //8.求出每個(gè)進(jìn)程拷貝的字節(jié)數(shù)。
 int bs = flen / n;
 int mod = flen % bs; //求出均分后余下的字節(jié)數(shù),讓最后一個(gè)子進(jìn)程處理。
 
 char *temp_src = mp_src;
 char *temp_dst = mp_dst;
 
 //9.創(chuàng)建n個(gè)子進(jìn)程。
 int i ;
 pid_t pid;
 for(i = 0; i < n; ++i)
 {
 printf("create %dth proc\n",i);
 if( (pid =fork()) == 0 )
  break;
 }
 if(n == i) //父進(jìn)程。
 {
 int j = 0;
 for(j = 0; j < n; ++j)
  wait(NULL);
 }
 else if(i == (n-1)) //10.子進(jìn)程拷貝,最后一個(gè)子進(jìn)程,它多處理均分后剩下的字節(jié)數(shù)。
 {
 printf("i = %d\n",i);
 memcpy(temp_dst+i*bs,temp_src+i*bs,bs+mod);
 }
 else if(i == 0)
 {
 printf("i = %d\n",i);
 memcpy(temp_dst,temp_src,bs);
 }
 else 
 {
 printf("i = %d\n",i);
 memcpy(temp_dst+i*bs,temp_src+i*bs,bs);
 }
 
 //11.釋放映射區(qū)。
 
 munmap(mp_src,flen);
 munmap(mp_dst,flen);
 
 return 0;
}

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • C++?Boost?Foreach超詳細(xì)分析講解

    C++?Boost?Foreach超詳細(xì)分析講解

    Boost是為C++語言標(biāo)準(zhǔn)庫提供擴(kuò)展的一些C++程序庫的總稱。Boost庫是一個(gè)可移植、提供源代碼的C++庫,作為標(biāo)準(zhǔn)庫的后備,是C++標(biāo)準(zhǔn)化進(jìn)程的開發(fā)引擎之一,是為C++語言標(biāo)準(zhǔn)庫提供擴(kuò)展的一些C++程序庫的總稱
    2022-11-11
  • C++ ofstream與ifstream詳細(xì)用法

    C++ ofstream與ifstream詳細(xì)用法

    ofstream是從內(nèi)存到硬盤,ifstream是從硬盤到內(nèi)存,其實(shí)所謂的流緩沖就是內(nèi)存空間
    2013-07-07
  • c語言左移和右移的示例詳解

    c語言左移和右移的示例詳解

    這篇文章主要介紹了c語言左移和右移的示例詳解,移位操作符的兩個(gè)操作數(shù)必須是整型的。整個(gè)移位表達(dá)式的值的類型也是整型的,而且,左移位操作符與右移位操作符的運(yùn)算并不對(duì)稱。
    2020-07-07
  • C++實(shí)現(xiàn)LeetCode(112.二叉樹的路徑和)

    C++實(shí)現(xiàn)LeetCode(112.二叉樹的路徑和)

    這篇文章主要介紹了C++實(shí)現(xiàn)LeetCode(112.二叉樹的路徑和),本篇文章通過簡(jiǎn)要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下
    2021-07-07
  • 正確理解C++的構(gòu)造函數(shù)和析構(gòu)函數(shù)

    正確理解C++的構(gòu)造函數(shù)和析構(gòu)函數(shù)

    在C++的學(xué)習(xí)中,可以把類當(dāng)作一個(gè)模具,類實(shí)例化出來的對(duì)象就是根據(jù)這個(gè)模具所產(chǎn)生的實(shí)體,對(duì)象看作是自己創(chuàng)建的一個(gè)新的數(shù)據(jù)類型。本文主要介紹了類對(duì)象通過拷貝函數(shù)進(jìn)行初始化,分析類對(duì)象的內(nèi)存模型,以及通過this指針實(shí)現(xiàn)更復(fù)雜的功能。最后介紹了析構(gòu)函數(shù)的基礎(chǔ)知識(shí)
    2021-06-06
  • 基于C語言實(shí)現(xiàn)三子棋小游戲

    基于C語言實(shí)現(xiàn)三子棋小游戲

    這篇文章主要為大家詳細(xì)介紹了基于C語言實(shí)現(xiàn)三子棋小游戲,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-11-11
  • 一文詳解C語言操作符

    一文詳解C語言操作符

    這篇文章主要詳細(xì)介紹了C語言的操作符,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-05-05
  • CMake自動(dòng)管理C/C++項(xiàng)目的實(shí)現(xiàn)

    CMake自動(dòng)管理C/C++項(xiàng)目的實(shí)現(xiàn)

    CMake是一個(gè)強(qiáng)大的構(gòu)建系統(tǒng),用于跨平臺(tái)管理C/C++項(xiàng)目的編譯過程,本文主要介紹了CMake自動(dòng)管理C/C++項(xiàng)目的實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下
    2025-02-02
  • C++提取文件中信息的方法

    C++提取文件中信息的方法

    這篇文章主要為大家詳細(xì)介紹了C++提取文件中信息的方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2017-07-07
  • C++使用泛型導(dǎo)致的膨脹問題

    C++使用泛型導(dǎo)致的膨脹問題

    這篇文章主要介紹了C++使用泛型導(dǎo)致的膨脹,智能家居主機(jī)的嵌入式平臺(tái)上使用C++進(jìn)行開發(fā)。FLASH存儲(chǔ)空間有限,這是必須要考慮的因素,一定要重視,下面我們一起進(jìn)入文章看看詳細(xì)內(nèi)容
    2021-11-11

最新評(píng)論

确山县| 宜州市| 衢州市| 鹤山市| 天镇县| 都江堰市| 华坪县| 伽师县| 河津市| 临邑县| 乳山市| 随州市| 宁南县| 洪江市| 晋江市| 饶河县| 德惠市| 赤城县| 隆德县| 渭源县| 华坪县| 乐清市| 望江县| 望都县| 平泉县| 舞钢市| 繁昌县| 仪征市| 读书| 皋兰县| 麻栗坡县| 天柱县| 建湖县| 吉林省| 大城县| 平塘县| 铁岭县| 贺兰县| 安丘市| 临泽县| 台州市|