PHP按行讀取、處理較大CSV文件的代碼實例

更新時間：2014年04月09日 11:59:15 作者：

這篇文章主要介紹了PHP按行讀取、處理較大CSV文件的代碼實例,需要的朋友可以參考下

對于數(shù)百萬條數(shù)據(jù)量的CSV文件，文件大小可能達到數(shù)百M，如果簡單讀取的話很可能出現(xiàn)超時或者卡死的現(xiàn)象。

為了成功將CSV文件里的數(shù)據(jù)導入數(shù)據(jù)庫，分批處理是非常必要的。

下面這個函數(shù)是讀取CSV文件中指定的某幾行數(shù)據(jù)：

復制代碼代碼如下:

/**
 * csv_get_lines 讀取CSV文件中的某幾行數(shù)據(jù)
 * @param $csvfile csv文件路徑
 * @param $lines 讀取行數(shù)
 * @param $offset 起始行數(shù)
 * @return array
 * */
function csv_get_lines($csvfile, $lines, $offset = 0) {
    if(!$fp = fopen($csvfile, 'r')) {
     return false;
    }
    $i = $j = 0;
 while (false !== ($line = fgets($fp))) {
  if($i++ < $offset) {
   continue; 
  }
  break;
 }
 $data = array();
 while(($j++ < $lines) && !feof($fp)) {
  $data[] = fgetcsv($fp);
 }
 fclose($fp);
    return $data;
}

調(diào)用方法：

復制代碼代碼如下:

$data = csv_get_lines('path/bigfile.csv', 10, 2000000);
print_r($data);

函數(shù)主要采用行定位的思路，通過跳過起始行數(shù)來實現(xiàn)文件指針定位。

上述函數(shù)對500M以內(nèi)的文件進行過測試，運行通暢，對于更大的文件未做測試，請斟酌使用或加以改進。

您可能感興趣的文章:

php實現(xiàn)天干地支計算器示例
天干地支，簡稱“干支”，這是中國古代的歷法，下面使用php實現(xiàn)一個天干地支計算器,需要的朋友可以參考下
2014-03-03
Laravel框架實現(xiàn)的rbac權限管理操作示例
這篇文章主要介紹了Laravel框架實現(xiàn)的rbac權限管理操作,結合實例形式分析了Laravel框架權限控制rbac相關數(shù)據(jù)庫創(chuàng)建、讀寫及權限判斷等操作技巧,需要的朋友可以參考下
2019-01-01
form表單傳遞數(shù)組數(shù)據(jù)、php腳本接收的實例
下面小編就為大家?guī)硪黄猣orm表單傳遞數(shù)組數(shù)據(jù)、php腳本接收的實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-02-02
Laravel 5使用Laravel Excel實現(xiàn)Excel/CSV文件導入導出的功能詳解
這篇文章主要給大家介紹了關于在Laravel 5中如何使用Laravel Excel實現(xiàn)Excel/CSV文件導入導出功能的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友可以參考下。
2017-10-10
CI（CodeIgniter）框架中URL特殊字符處理與SQL注入隱患分析
這篇文章主要介紹了CI（CodeIgniter）框架中URL特殊字符處理與SQL注入隱患,結合實例形式分析了CodeIgniter框架中針對特殊字符的過濾及SQL注入隱患的相關原理,需要的朋友可以參考下
2019-02-02
PHPMailer發(fā)送郵件
PHPMailer是一個封裝好的PHP郵件發(fā)送類，支持發(fā)送HTML內(nèi)容的電子郵件，以及圖片附件，前提要設置好郵件服務器就能實現(xiàn)郵件發(fā)送功能。本文給大家分享PHPMailer發(fā)送郵件功能，一起看看吧
2016-12-12
PHP解決高并發(fā)問題(opcache)
這篇文章主要介紹了PHP解決高并發(fā)問題(opcache),本篇文章通過簡要的案例,講解了該項技術的了解與使用,以下就是詳細內(nèi)容,需要的朋友可以參考下
2021-07-07
php獲取本年、本月、本周時間戳和日期格式的實例代碼
這篇文章主要介紹了php獲取本年、本月、本周時間戳和日期格式,本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下
2020-01-01
實例分析10個PHP常見安全問題
在本篇文章里小編給各位分享了關于10個PHP常見安全問題以及相關實例代碼，需要的朋友們學習參考下。
2019-07-07
Laravel定時任務的每秒執(zhí)行代碼
今天小編就為大家分享一篇Laravel定時任務的每秒執(zhí)行代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-10-10