上一頁(yè)我們介紹了帝國(guó)cms采集基本流程，那么我們這一講介紹帝國(guó)cms如何采集內(nèi)容分頁(yè)。不少的同學(xué)在采集過程中，列表頁(yè)和內(nèi)容頁(yè)都能可以很好地設(shè)定正則，但往往失敗在內(nèi)容分頁(yè)正則上，主要是對(duì)內(nèi)容分頁(yè)正則不了解。帝國(guó)的內(nèi)容分頁(yè)形式有兩種：(1)全部列出式(2)上下頁(yè)導(dǎo)航式，但是這兩種內(nèi)容分頁(yè)形式有什么區(qū)別，采集內(nèi)容分頁(yè)時(shí)該用哪種，官方說得比較模糊，對(duì)此有些同學(xué)感到很頭大，好的，我們先看下例子：
　　一、全部列出式
　　全部列表式只需看第一頁(yè)的頁(yè)面HTML代碼，這一頁(yè)的所有分頁(yè)鏈接都列出來了。
　　1、我們以“中華網(wǎng)內(nèi)容分頁(yè)(http://auto.china.com/dongtai/yejie/11012724/20120309/17081442.html)”為例：
　　
 
　　可以看到這條新聞總共有3條分頁(yè)。
　　2、查看源代碼：
　　
 
　　這一頁(yè)里除了已經(jīng)采集到的第1條分頁(yè)外，還包括了第2條和第3條分頁(yè)，所有的分頁(yè)都列出來了。
　　3、取得 分頁(yè)區(qū)域正則([!--smallpageallzz--])：
　　
 
　　4、取得 分頁(yè)鏈接正則([!--pageallzz--])：
　　
 
　　二、上下頁(yè)導(dǎo)航式
　　上下頁(yè)導(dǎo)航式是分頁(yè)采集的難點(diǎn)，他需要所有頁(yè)面都符合分頁(yè)正則才行，在不熟悉的情況下，我們可以用第1頁(yè)和第2頁(yè)的代碼來進(jìn)行對(duì)比分析然后確定分頁(yè)正則。
　　1、我們以“愛麗網(wǎng)內(nèi)容分頁(yè)(http://fashion.aili.com/76/445845.html)”為例：
　　
 
　　可以看到這條新聞總共有20條分頁(yè)。
　　2、查看源代碼：
　　
 
　　這一頁(yè)里除了已經(jīng)采集到的第1條分頁(yè)外，還包括了第2，第3，第4，第5，第6，第7，第8，第20條分頁(yè)，但是第9到第19條分頁(yè)并沒有列出來，這時(shí)候我們拿用第1頁(yè)和第2頁(yè)的代碼來進(jìn)行對(duì)比分析，來確定分頁(yè)正則:
　　(1)第1頁(yè)代碼：
　　
 
　　(2)第2頁(yè)代碼：
　　
 
　　從這兩幅圖片可以看到他們有著相同的“分頁(yè)區(qū)域開始代碼”，“分頁(yè)鏈接”格式，“分頁(yè)區(qū)域結(jié)束代碼”,那么就可以確定“分頁(yè)區(qū)域正則”，“分頁(yè)鏈接正則”。
　　3、取得 分頁(yè)區(qū)域正則([!--smallpageallzz--])：
　　
 
　　4、取得 分頁(yè)鏈接正則([!--pageallzz--])：
　　
 
　　5、為了方便教程顯示，newstext我采集了標(biāo)題而不是采集內(nèi)容，預(yù)覽結(jié)果：
　　
 
　　注意事項(xiàng)：
　　第一、在第一頁(yè)的頁(yè)面HTML代碼里，內(nèi)容分頁(yè)鏈接全部列出來的情況下我們使用“全部列出式”。在第一頁(yè)的頁(yè)面HTML代碼里，內(nèi)容分頁(yè)鏈接沒有全部列出來的情況下我們使用“上下頁(yè)導(dǎo)航式”。
　　第二、用全部列出式時(shí)，采集規(guī)則正確但是莫名其妙的出現(xiàn)重復(fù)的分頁(yè)，這時(shí)可以利用替換法把它過濾掉(下一講我們?cè)僬f)。
　　第三、用上下頁(yè)導(dǎo)航式時(shí)，老是采到第1頁(yè)，其他頁(yè)連個(gè)影子都沒有見過，這是因?yàn)榉猪?yè)區(qū)域正則([!--smallpagezz--])截取錯(cuò)誤。
　　第四、用上下頁(yè)導(dǎo)航式時(shí)，可以采集到前幾頁(yè)了，但是接下來這前幾頁(yè)全部重復(fù)循環(huán)到底，這也是因?yàn)榉猪?yè)區(qū)域正則([!--smallpagezz--])截取錯(cuò)誤，截取范圍過大，導(dǎo)致重復(fù)截取前幾個(gè)分頁(yè)鏈接。
　　好的，這一講就到這里，下一頁(yè)我們主要介紹帝國(guó)cms采集過濾和替換。

最新評(píng)論