最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

使用mmap實現(xiàn)大文件的復(fù)制(單進程和多進程)

 更新時間:2019年10月16日 15:09:41   作者:void_xinyue  
這篇文章主要為大家詳細介紹了使用mmap實現(xiàn)大文件的復(fù)制,單進程與多進程的兩種情況,具有一定的參考價值,感興趣的小伙伴們可以參考一下

使用mmap實現(xiàn)大文件的復(fù)制,供大家參考,具體內(nèi)容如下

典型的文件復(fù)制的流程是:

1、讀?。╢read)被復(fù)制的文件的內(nèi)容。
2、寫入(fwrite)到新的文件中去。

使用mmap進行文件復(fù)制的流程則是:

1、為被復(fù)制的文件已經(jīng)新文件分別進行mmap映射。
2、將被復(fù)制的文件映射的內(nèi)存的內(nèi)容復(fù)制到新文件映射的內(nèi)存。

在知道了基本原理之后,讓我們看看具體的做法,本文只分析使用mmap進行大文件復(fù)制的方法

具體的做法

先了解一些使用mmap時,應(yīng)當(dāng)注意的細節(jié):

  • 文件的大小必須要大于等于內(nèi)存映射區(qū)的大小,因此對于創(chuàng)建的新文件,可以使用文件截斷函數(shù)(ftruncate)來改變文件的大小和被復(fù)制的文件大小一樣,這樣子才能在映射一個和被復(fù)制的文件的映射區(qū)一樣大的內(nèi)存映射區(qū)。
  • 下面我將使用單進程和多進程兩種方式來進行mmap文件復(fù)制

單進程mmap文件復(fù)制

#include<stdio.h>
#include <string.h>
#include <malloc.h>
#include <unistd.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/mman.h>
/* 首先規(guī)定一下該命令的參數(shù) :
 * mycopy 源文件地址 目標(biāo)文件地址
 *
 * 可能需要的函數(shù):open\read\write\close
 * 基本流程:打開源文件,讀取內(nèi)容,寫到另一個文件,關(guān)閉文件
 * 核心方法:通過mmap(最快的進程間通信方法) 
 * 如何獲取文件的大?。?
 *
 */
unsigned long get_file_byte_num(const char * filename)
{
 FILE *fp = fopen(filename, "r");
 fseek(fp, 0, SEEK_END);
 return ftell(fp);
}
int main(int argc, char ** argv)
{
 // 首先解析輸入的參數(shù)得到源文件和目標(biāo)文件
 if (argc < 3)
 {
  perror("參數(shù)輸入不足");
 }
 int slen = strlen(argv[1]); // 這個是源文件的名的長度
 int tlen = strlen(argv[2]); // 這個是目標(biāo)文件名的長度
 char *sname = (char *)malloc(sizeof(char)*(slen + 1));
 char *tname = (char*)malloc(sizeof(char)*(tlen + 1));
 strcpy(sname, argv[1]);
 strcpy(tname, argv[2]);
 // 打開目標(biāo)文件
 // 計算源文件的大小(字節(jié)數(shù))
 unsigned long byte_num = get_file_byte_num(sname);
 printf("文件的長度為%ld字節(jié)\n", byte_num);
 //--------建立 mmap 映射區(qū) --------------
 // 獲取被復(fù)制文件的文件描述符
 int fd = open(sname, O_RDWR|O_CREAT, 0644);
 int tfd = open(tname, O_RDWR|O_CREAT, 0644);
 ftruncate(tfd, byte_num);

 char *mem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0);
 if (mem == MAP_FAILED)
  perror("mmap err");
 char *tmem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, tfd, 0);
 if (tmem == MAP_FAILED)
  perror("mmap err");

 close(fd); // 內(nèi)存映射區(qū)建立之后,就可以關(guān)閉文件描述符
 close(tfd);

 memcpy(tmem, mem, byte_num);

 // 回收子進程,等待拷貝結(jié)束
 munmap(mem, byte_num);
 munmap(tmem, byte_num);
 free(sname);
 free(tname);

多進程mmap復(fù)制文件

所謂的多進程mmap復(fù)制文件,只是做了將復(fù)制的任務(wù)分給多個進程去完成,核心思想不變。

#include<stdio.h>
#include <string.h>
#include <malloc.h>
#include <unistd.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <signal.h>
#include <sys/wait.h>
/* 首先規(guī)定一下該命令的參數(shù) :
* mycopy 源文件地址 目標(biāo)文件地址
*
* 可能需要的函數(shù):open\read\write\close
* 基本流程:打開源文件,讀取內(nèi)容,寫到另一個文件,關(guān)閉文件
* 核心方法:通過mmap(最快的進程間通信方法) 
* 如何獲取文件的大?。?
*
*/
// 獲取文件的字節(jié)數(shù)
unsigned long get_file_byte_num(const char * filename)
{
 FILE *fp = fopen(filename, "r");
 fseek(fp, 0, SEEK_END);
 return ftell(fp);
}

// sigchld信號處理函數(shù)
void sigchld_handle(int a)
{
 pid_t pid;
 while ((pid = waitpid(0,NULL, WNOHANG)) > 0)
 {
  printf("回收到一個子進程%d\n", pid);
 }
}

int main(int argc, char ** argv)
{
 // 首先解析輸入的參數(shù)得到源文件和目標(biāo)文件
 if (argc < 3)
 {
  perror("參數(shù)輸入不足");
 }
 int slen = strlen(argv[1]); // 這個是源文件的名的長度
 int tlen = strlen(argv[2]); // 這個是目標(biāo)文件名的長度
 char *sname = (char *)malloc(sizeof(char)*(slen + 1));
 char *tname = (char*)malloc(sizeof(char)*(tlen + 1));
 strcpy(sname, argv[1]);
 strcpy(tname, argv[2]);
 // 打開目標(biāo)文件
 FILE * tfp = fopen(tname, "w"); // 不存在則創(chuàng)建
 // 計算源文件的大小(字節(jié)數(shù))
 unsigned long byte_num = get_file_byte_num(sname);
 printf("文件的長度為%ld字節(jié)\n", byte_num);
 //--------建立 mmap 映射區(qū) --------------
 // 獲取被復(fù)制文件的文件描述符
 int fd = open(sname, O_RDWR|O_CREAT, 0644);
 int tfd = open(tname, O_RDWR|O_CREAT, 0644);
 ftruncate(tfd, byte_num); // 將tfd指向的文件的大小改變?yōu)閎yte_num

 char *mem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0);
 char * mem_tmp = mem; // 備份共享內(nèi)存入口地址
 if (mem == MAP_FAILED)
 perror("MAP_FAILED");
 char *tmem = (char*)mmap(NULL, byte_num, PROT_WRITE, MAP_SHARED,tfd, 0);
 char * tmem_tmp = tmem;
 if (tmem == MAP_FAILED)
 perror("mmap err");

 close(fd); // 內(nèi)存映射區(qū)建立之后,就可以關(guān)閉文件描述符
 close(tfd);

 // 父子進程之間就可以通過這個mem指針進行通信了
 // 規(guī)定進程數(shù)量為5mZ const int num_proc = 5;
 // 根據(jù)進程數(shù)量,計算每個進程需要拷貝的字節(jié)數(shù),
 // 最后一個進程拷貝剩余的字節(jié)數(shù)。
 const int num_proc = 5;
 const unsigned long each_proc_byte = byte_num/num_proc;
 // 由于可能無法整除,因此最后一個進程,需要多復(fù)制一些
 const unsigned long last_proc_byte = byte_num - each_proc_byte*(num_proc - 1); 

 // 屏蔽sigchld信號的系統(tǒng)默認處理方式
 sigset_t set;
 sigemptyset(&set); // 初始化一下set
 sigaddset(&set, SIGCHLD);
 sigprocmask(SIG_BLOCK, &set, NULL); // 屏蔽

 // 循環(huán)創(chuàng)建子進程
int i; 
pid_t pid;
for(i = 0; i < num_proc - 1; ++i)
{
 if ((pid = fork())==-1)
 perror("fork error");
 if (pid == 0)
 break;
}

 // -------具體的拷貝過程---------
 if (i == num_proc - 1) // 父進程
 {
  // 設(shè)置信號捕捉和解除屏蔽
  struct sigaction act;
  act.sa_handler = sigchld_handle;
  sigemptyset(&act.sa_mask); // 處理期間不屏蔽其他信號
  sigaction(SIGCHLD, &act, NULL); // 啟動信號捕獲
  sigprocmask(SIG_UNBLOCK, &set, NULL); // 解除SIGCHLD的屏蔽

  memcpy(tmem_tmp + each_proc_byte*i, mem_tmp + each_proc_byte*i, last_proc_byte); 

 }else
 {
  memcpy(tmem + each_proc_byte*i, mem_tmp + each_proc_byte*i, each_proc_byte);
 }
 //
 // 回收子進程,等待拷貝結(jié)束
 //

  munmap(mem, byte_num);
  munmap(tmem, byte_num);
  free(sname);
  free(tname);
  return 0;
}

幾個問題

1、主進程什么時候進行munmap才不會影響其他進程使用mmap進行復(fù)制。

父子進程之間的用戶空間遵循“讀時共享、寫時復(fù)制”的原則,mmap肯定是采用的用戶空間的內(nèi)存,因此我認為最好的處理方法,就是每個進程都進行munmap。

2、sleep()函數(shù)的注意點:

sleep在manpage上的原文解釋為:sleep() makes the calling process sleep until seconds seconds have elapsed or a signal arrives which is not ignored.

也就是說,結(jié)束sleep的情況又兩種:1.休眠時間到。2.調(diào)用sleep的進程收到一個信號,且該信號未被屏蔽,在該信號處理完成后,理解結(jié)束sleep。

3、子進程可能會比主進程結(jié)束的慢,而且不能讓主進程阻塞等待子進程(通過信號捕捉來回收子進程),這種情況下,該如何回收子進程?

首先,主進程準(zhǔn)備好信號捕獲回收子進程的代碼。其次,能不能回收就隨緣,如果主進程先退出了就把子進程交給init進程回收。所以,不需要擔(dān)心能不能回收的問題。

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • C++?結(jié)合?opencv讀取圖片與視頻的方法

    C++?結(jié)合?opencv讀取圖片與視頻的方法

    這篇文章主要介紹了C++?結(jié)合?opencv讀取圖片與視頻,本文通過實例代碼給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2023-06-06
  • C語言正則表達式詳解 regcomp() regexec() regfree()用法詳解

    C語言正則表達式詳解 regcomp() regexec() regfree()用法詳解

    C語言處理正則表達式常用的函數(shù)有regcomp()、regexec()、regfree()和regerror(),這里就為大家介紹一下,需要的朋友可以參考一下啊
    2018-04-04
  • 詳解Qt中QStackedWidget控件的使用

    詳解Qt中QStackedWidget控件的使用

    這篇文章主要為大家詳細介紹了Qt中QStackedWidget控件的具體使用,文中的示例代碼講解詳細,具有一定的借鑒價值,需要的可以參考一下
    2023-02-02
  • C語言快速冪取模算法小結(jié)

    C語言快速冪取模算法小結(jié)

    這篇文章主要介紹了C語言快速冪取模算法,包括了算法的分析與改進,是很多程序設(shè)計競賽中常見的算法,需要的朋友可以參考下
    2014-09-09
  • C語言數(shù)據(jù)結(jié)構(gòu)之簡易計算器

    C語言數(shù)據(jù)結(jié)構(gòu)之簡易計算器

    這篇文章主要為大家詳細介紹了C語言數(shù)據(jù)結(jié)構(gòu)之簡易計算器,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2017-11-11
  • C/C++讀寫注冊表中二進制數(shù)據(jù)(代碼示例)

    C/C++讀寫注冊表中二進制數(shù)據(jù)(代碼示例)

    這篇文章主要介紹了使用Windows API 函數(shù)中的RegOpenKeyEx()函數(shù)和RegSetValueEx()函數(shù)來實現(xiàn)對注冊表某項寫入二進制鍵值,需要的朋友可以參考下
    2020-02-02
  • C語言實現(xiàn)掃雷小程序

    C語言實現(xiàn)掃雷小程序

    這篇文章主要為大家詳細介紹了C語言實現(xiàn)掃雷小程序,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-08-08
  • 深入剖析設(shè)計模式中的組合模式應(yīng)用及在C++中的實現(xiàn)

    深入剖析設(shè)計模式中的組合模式應(yīng)用及在C++中的實現(xiàn)

    這篇文章主要介紹了設(shè)計模式中的組合模式應(yīng)用及在C++中的實現(xiàn),組合模式可以清晰地反映出遞歸構(gòu)建樹狀的組合結(jié)構(gòu),需要的朋友可以參考下
    2016-03-03
  • C++動態(tài)聯(lián)編介紹

    C++動態(tài)聯(lián)編介紹

    這篇文章主要介紹了C++動態(tài)聯(lián)編,在C++中,聯(lián)編是指一個計算機程序的不同部分彼此關(guān)聯(lián)的過程。按照聯(lián)編所進行的階段不同,可分為兩種不同的聯(lián)編方法:靜態(tài)聯(lián)編和動態(tài)聯(lián)編
    2022-01-01
  • C語言實現(xiàn)井字棋(三子棋)

    C語言實現(xiàn)井字棋(三子棋)

    這篇文章主要為大家詳細介紹了C語言實現(xiàn)井字棋游戲,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-04-04

最新評論

东丰县| 开化县| 若尔盖县| 尤溪县| 通海县| 福建省| 永胜县| 凉城县| 洛南县| 内江市| 昭苏县| 奉贤区| 色达县| 时尚| 金山区| 博罗县| 武定县| 额尔古纳市| 石家庄市| 平定县| 威宁| 密云县| 汶上县| 麻城市| 徐州市| 平安县| 宽甸| 城步| 通山县| 昌乐县| 青田县| 安义县| 南木林县| 即墨市| 海伦市| 正镶白旗| 富蕴县| 宜君县| 沈阳市| 广州市| 宕昌县|