快捷導(dǎo)航

php數(shù)組對(duì)百萬(wàn)數(shù)據(jù)進(jìn)行排除重復(fù)數(shù)據(jù)的實(shí)現(xiàn)代碼

更新時(shí)間：2010年06月08日 00:15:02 作者：

在平時(shí)的工作中，經(jīng)常接到要對(duì)網(wǎng)站的會(huì)員進(jìn)行站內(nèi)信、手機(jī)短信、email進(jìn)行群發(fā)信息的通知，用戶列表一般由別的同事提供，當(dāng)中難免會(huì)有重復(fù)，為了避免重復(fù)發(fā)送，所以我在進(jìn)行發(fā)送信息前要對(duì)他們提供的用戶列表進(jìn)行排重，下面我以u(píng)id列表來(lái)講講我是如何利用php數(shù)組進(jìn)行排重的。

假如得到一個(gè)uid列表，數(shù)量在百萬(wàn)行以上，格式如下：

復(fù)制代碼代碼如下:

其實(shí)利用php數(shù)組的特性，很好進(jìn)行排重，我們先來(lái)看一下php數(shù)組的定義：PHP 中的數(shù)組實(shí)際上是一個(gè)有序映射。映射是一種把 values 關(guān)聯(lián)到 keys 的類型。此類型在很多方面做了優(yōu)化，因此可以把它當(dāng)成真正的數(shù)組，或列表（向量），散列表（是映射的一種實(shí)現(xiàn)），字典，集合，棧，隊(duì)列以及更多可能性。數(shù)組元素的值也可以是另一個(gè)數(shù)組。樹形結(jié)構(gòu)和多維數(shù)組也是允許的。

　　在php的數(shù)組中，鍵（keys）也稱為索引，具有唯一性，我們正可以利用這一特性進(jìn)行排重，示例代碼如下：

復(fù)制代碼代碼如下:

 
<?php 
//定義一個(gè)數(shù)組，用于存放排重后的結(jié)果 
$result = array(); 
//讀取uid列表文件 
$fp = fopen('test.txt', 'r'); 

while(!feof($fp)) 
{ 
$uid = fgets($fp); 
$uid = trim($uid); 
$uid = trim($uid, "\r"); 
$uid = trim($uid, "\n"); 

if($uid == '') 
{ 
continue; 
} 
//以u(píng)id為key去看該值是否存在 
if(empty($result[$uid])) 
{ 
$result[$uid] = 1; 
} 
} 

fclose($fp); 

//將結(jié)果保存到文件 
$content = ''; 
foreach($result as $k => $v) 
{ 
$content .= $k."\n"; 
} 
$fp = fopen('result.txt', 'w'); 
fwrite($fp, $content); 
fclose($fp); 
?>　　 

20多行代碼，就可以對(duì)百萬(wàn)以上的數(shù)據(jù)進(jìn)行排重，效率也不錯(cuò)，非常實(shí)用。手機(jī)號(hào)、email，也可以采用這種方式進(jìn)行排重。

　　還有，這可方法還可以用于兩個(gè)文件進(jìn)行排重的工作，如果你有兩個(gè)uid列表文件，格式和上面的uid列表一樣，示例程序如下：

復(fù)制代碼代碼如下:

 
<?php 
//定義數(shù)組，用于存放排重后的結(jié)果 
$result = array(); 
//讀取第一個(gè)uid列表文件，放入$result_1 
$fp = fopen('test_1.txt', 'r'); 
while(!feof($fp)) 
{ 
$uid = fgets($fp); 
$uid = trim($uid); 
$uid = trim($uid, "\r"); 
$uid = trim($uid, "\n"); 
if($uid == '') 
{ 
continue; 
} 
//以u(píng)id為key寫入$result，如有重復(fù)就會(huì)覆蓋 
$result[$uid] = 1; 
} 
fclose($fp); 
//讀取第二個(gè)uid列表文件，并進(jìn)行排重操作 
$fp = fopen('test_2.txt', 'r'); 
while(!feof($fp)) 
{ 
$uid = fgets($fp); 
$uid = trim($uid); 
$uid = trim($uid, "\r"); 
$uid = trim($uid, "\n"); 
if($uid == '') 
{ 
continue; 
} 
//以u(píng)id為key去看該值是否存在 
if(empty($result[$uid])) 
{ 
$result[$uid] = 1; 
} 
} 
fclose($fp); 
//$result里保存的就排重以后的結(jié)果，可以輸出到文件，代碼省略 
?> 