Python如何使用正則表達(dá)式爬取京東商品信息
京東（JD.com）是中國最大的自營式電商企業(yè)，2015年第一季度在中國自營式B2C電商市場的占有率為56.3%。如此龐大的一個(gè)電商網(wǎng)站，上面的商品信息是海量的，小編今天就帶小伙伴利用正則表達(dá)式，并且基于輸入的關(guān)鍵詞來實(shí)現(xiàn)主題爬蟲。
首先進(jìn)去京東網(wǎng)，輸入自己想要查詢的商品，小編在這里以關(guān)鍵詞“狗糧”作為搜索對象，之后得到后面這一串網(wǎng)址：
https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8，其實(shí)參數(shù)%E7%8B%97%E7%B2%AE解碼之后就是“狗糧”的意思。那么非常明顯，只要輸入keyword這個(gè)參數(shù)之后，將其進(jìn)行編碼，就可以獲取到我們的目標(biāo)網(wǎng)址了，請求網(wǎng)頁，得到響應(yīng)，爾后利用選擇器便可以進(jìn)行下一步的精準(zhǔn)采集了。
在京東網(wǎng)上，狗糧信息在京東官網(wǎng)上的網(wǎng)頁源碼如下圖所示：
狗糧信息在京東官網(wǎng)上的網(wǎng)頁源碼
話不多說，直接擼代碼，如下圖所示。小編用的是py3，也建議大家以后多用py3版本。通常URL編碼的方式是把需要編碼的字符轉(zhuǎn)化為%xx的形式，一般來說URL的編碼是基于UTF-8的，當(dāng)然也有的于瀏覽器平臺(tái)有關(guān)。在Python的urllib庫中提供了quote方法，可以實(shí)現(xiàn)對URL的字符串進(jìn)行編碼，從而可以進(jìn)入到對應(yīng)的網(wǎng)頁中去。
正則表達(dá)式，又稱正規(guī)表示式、正規(guī)表示法、正規(guī)表達(dá)式、規(guī)則表達(dá)式、常規(guī)表示法（英語：Regular Expression，在代碼中常簡寫為regex、regexp或RE），是一種可以用于模式匹配和替換的強(qiáng)有力的工具。找到目標(biāo)網(wǎng)頁之后，調(diào)用urllib中的urlopen函數(shù)打開網(wǎng)頁并獲取源碼，之后利用正則表達(dá)式實(shí)現(xiàn)對目標(biāo)信息的精準(zhǔn)采集。
利用正則表達(dá)式實(shí)現(xiàn)對目標(biāo)信息的精準(zhǔn)采集
正則表達(dá)式寫在這個(gè)程序中確實(shí)蠻復(fù)雜的，也占據(jù)了多行，但是主要用到的正則表達(dá)式是[\w\W]+?和[\s\S]+?。
[\s\S]或者[\w\W]是完全通配的意思，\s是指空白，包括空格、換行、tab縮進(jìn)等所有的空白，而\S剛好相反。這樣一正一反下來，就表示所有的字符，完全的，一字不漏的。另外，[]這個(gè)符號(hào)，表示在它里面包含的單個(gè)字符不限順序的出現(xiàn)，比如下面的正則：[ace]*，這表示，只要出現(xiàn)a/c/e這三個(gè)任意的字母，都會(huì)被匹配。
此外，[\s]表示，只要出現(xiàn)空白就匹配；[\S]表示，非空白就匹配。那么它們的組合，表示所有的都匹配，與它相對應(yīng)的，有[\w\W]等，意義完全相同。其實(shí)，[\s\S] 和 [\w\W]這樣的用法，比"."所匹配的還要多，因?yàn)?."是不會(huì)匹配換行的，所有出現(xiàn)有換行匹配的時(shí)候，人們就習(xí)慣 使用[\s\S]或者[\w\W]這樣的完全通配模式。
最后得到的輸出效果圖如下所示：
輸出效果圖
這樣小伙伴們就可以獲取到狗糧的商品信息了，當(dāng)然，小編在這里只是拋磚引玉，只匹配了四個(gè)信息，而且只是做了個(gè)單頁的獲取。需要更多數(shù)據(jù)的小伙伴們可以自行去更改正則表達(dá)式和設(shè)置多頁，達(dá)到你想要的效果。下篇文章小編將利用美麗的湯BeautifulSoup來進(jìn)行匹配目標(biāo)數(shù)據(jù)，實(shí)現(xiàn)目標(biāo)信息的精準(zhǔn)獲取。
最后給大家簡單介紹一下正則表達(dá)式。正則表達(dá)式使用單個(gè)字符串來描述、匹配一系列匹配某個(gè)句法規(guī)則的字符串。在很多文本編輯器里，正則表達(dá)式通常被用來檢索、替換那些匹配某個(gè)模式的文本。
正則表達(dá)式對于初學(xué)者確實(shí)晦澀難懂，不過慢慢學(xué)習(xí)還是可以掌握的，并不一定要完全記下來，但是你要知道什么時(shí)候需要什么參數(shù)，能做到順利使用它就可以了。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- python網(wǎng)絡(luò)爬蟲精解之正則表達(dá)式的使用說明
- python正則表達(dá)式re.search()的基本使用教程
- Python中正則表達(dá)式對單個(gè)字符，多個(gè)字符和匹配邊界等使用
- python使用正則表達(dá)式匹配txt特定字符串（有換行）
- python中使用正則表達(dá)式將所有符合條件的字段全部提取出來
- Python使用正則表達(dá)式實(shí)現(xiàn)爬蟲數(shù)據(jù)抽取
- Python正則表達(dá)式高級使用方法匯總
- python使用正則表達(dá)式去除中文文本多余空格，保留英文之間空格方法詳解
- python使用正則表達(dá)式（Regular Expression）方法超詳細(xì)
- python 正則表達(dá)式的使用
相關(guān)文章
Python光學(xué)仿真之對光的干涉理解學(xué)習(xí)
這篇文章主要為大家介紹了Python光學(xué)仿真之對光的干涉理解學(xué)習(xí)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪2021-10-10
Python獲取服務(wù)器信息的最簡單實(shí)現(xiàn)方法
這篇文章主要介紹了Python獲取服務(wù)器信息的最簡單實(shí)現(xiàn)方法,涉及Python中urllib2庫的使用技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-03-03
Python設(shè)置和解除Word文檔保護(hù)的實(shí)現(xiàn)步驟
在日常工作和學(xué)習(xí)中,我們經(jīng)常需要使用Word文檔來記錄和分享重要的信息,為了確保文檔內(nèi)容的安全性和完整性,了解如何保護(hù)和取消保護(hù)Word文檔顯得尤為重要,這篇博客將詳細(xì)介紹如何使用Python設(shè)置和解除Word文檔的保護(hù),需要的朋友可以參考下2025-02-02
python實(shí)現(xiàn)小世界網(wǎng)絡(luò)生成
今天小編就為大家分享一篇python實(shí)現(xiàn)小世界網(wǎng)絡(luò)生成，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
Python利用keyboard模塊實(shí)現(xiàn)鍵盤記錄操作
模擬鍵盤操作執(zhí)行自動(dòng)化任務(wù)，我們常用的有pyautowin等自動(dòng)化操作模塊。今天介紹的這個(gè)模塊叫做keyboard,它是純Python原生開發(fā)，編譯時(shí)完全不需要依賴C語言模塊。一行命令就能完成安裝，非常方便，需要的可以了解一下2022-10-10
python 下劃線的多種應(yīng)用場景總結(jié)
Python有很多地方使用下劃線,在不同場合下，有不同含義。本文總結(jié)Python語言編程中常用下劃線的地方，力圖一次搞懂下劃線的常見用法，感興趣的朋友快來一起看看吧2021-05-05
這篇文章主要介紹了Keras搭建自編碼器操作，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
python基于FTP實(shí)現(xiàn)文件傳輸相關(guān)功能代碼實(shí)例
這篇文章主要介紹了python基于FTP實(shí)現(xiàn)文件傳輸相關(guān)功能代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
Django搭建MySQL主從實(shí)現(xiàn)讀寫分離
本文主要介紹了Django搭建MySQL主從實(shí)現(xiàn)讀寫分離，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-08-08
Python爬蟲:url中帶字典列表參數(shù)的編碼轉(zhuǎn)換方法
今天小編就為大家分享一篇Python爬蟲:url中帶字典列表參數(shù)的編碼轉(zhuǎn)換方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08