PHP讀取CSV大文件導(dǎo)入數(shù)據(jù)庫的實例
更新時間：2017年07月24日 09:59:21 投稿：jingxian
下面小編就為大家?guī)硪黄狿HP讀取CSV大文件導(dǎo)入數(shù)據(jù)庫的實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
PHP如何對CSV大文件進行讀取并導(dǎo)入數(shù)據(jù)庫？
對于數(shù)百萬條數(shù)據(jù)量的CSV文件，文件大小可能達到數(shù)百M，如果簡單讀取的話很可能出現(xiàn)超時或者卡死的現(xiàn)象。
為了成功將CSV文件里的數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫，分批處理是非常必要的。
下面這個函數(shù)是讀取CSV文件中指定的某幾行數(shù)據(jù)：
/**
* csv_get_lines 讀取CSV文件中的某幾行數(shù)據(jù)
* @param $csvfile csv文件路徑
* @param $lines 讀取行數(shù)
* @param $offset 起始行數(shù)
* @return array
* */
function csv_get_lines($csvfile, $lines, $offset = 0) {
if(!$fp = fopen($csvfile, 'r')) {
return false;
}
$i = $j = 0;
while (false !== ($line = fgets($fp))) {
if($i++ < $offset) {
continue;
}
break;
}
$data = array();
while(($j++ < $lines) && !feof($fp)) {
$data[] = fgetcsv($fp);
}
fclose($fp);
return $data;
}
調(diào)用方法：
$data = csv_get_lines('path/bigfile.csv', 10, 2000000);
print_r($data);
函數(shù)主要采用行定位的思路，通過跳過起始行數(shù)來實現(xiàn)文件指針定位。
至于數(shù)據(jù)如何入庫本文不再詳細講述。
上述函數(shù)對500M以內(nèi)的文件進行過測試，運行通暢，對于更大的文件未做測試，請斟酌使用或加以改進。
這篇PHP讀取CSV大文件導(dǎo)入數(shù)據(jù)庫的實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
小偷PHP+Html+緩存...2006-12-12
PHP中Fatal error session_start()錯誤解決步驟
這篇文章主要介紹了PHP中Fatal error session_start()錯誤解決步驟,著重于錯誤的排除步驟,一步一步排查下去,肯定可以解決這個錯誤,需要的朋友可以參考下2014-08-08
主頁是index.php；傳遞的值是id(數(shù)據(jù)庫的主鍵)；文章的數(shù)據(jù)庫是article，其中文章標(biāo)題的列是title2012-09-09
php 解決舊系統(tǒng) 查出所有數(shù)據(jù)分頁的類
不同之處在于 沒有實現(xiàn)分頁的系統(tǒng)， 默認全部查出來 現(xiàn)在就要不能動后臺的基礎(chǔ)上進行操作 可以采用 相應(yīng)的 如下 代碼2012-08-08
這篇文章主要給大家介紹了關(guān)于如何利用PHP獲取漢字首字母并且分組排序的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家學(xué)習(xí)或者使用php具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-10-10
PHP用身份證號獲取星座和生肖，實用的PHP函數(shù)2013-11-11
這篇文章主要介紹了laravel下trait的使用代碼實例詳解，使用trait可以提高代碼的復(fù)用性，有感興趣的同學(xué)可以學(xué)習(xí)下2021-03-03
最近一段弄微信網(wǎng)頁掃碼支付，看官方文檔是暈頭轉(zhuǎn)向。其實掃碼支付很簡單，只是讓官網(wǎng)指來指去變的很麻煩，我想如果有個實例，會容易很多。下面就把實例分享給大家2017-03-03
jQuery EasyUI是一組基于jQuery的UI插件集合，而jQuery EasyUI的目標(biāo)就是幫助web開發(fā)者更輕松的打造出功能豐富并且美觀的UI界面。下面說一下tabs update的正確用法2014-03-03
這篇文章主要介紹了thinkPHP中volist標(biāo)簽用法,結(jié)合實例形式分析了thinkPHP中volist標(biāo)簽的功能、屬性及相關(guān)使用技巧,需要的朋友可以參考下2016-12-12