Python爬蟲：通過(guò)關(guān)鍵字爬取百度圖片

更新時(shí)間：2017年02月17日 09:58:19 作者：WC-cong

本文主要介紹了Python爬蟲：通過(guò)關(guān)鍵字爬取百度圖片的方法。具有很好的參考價(jià)值，下面跟著小編一起來(lái)看下吧

使用工具：Python2.7 點(diǎn)我下載

scrapy框架

sublime text3

一。搭建python（Windows版本）

1.安裝python2.7 ---然后在cmd當(dāng)中輸入python，界面如下則安裝成功

2.集成Scrapy框架----輸入命令行：pip install Scrapy

安裝成功界面如下：

失敗的情況很多，舉例一種：

解決方案：

其余錯(cuò)誤可百度搜索。

二。開(kāi)始編程。

1.爬取無(wú)反爬蟲措施的靜態(tài)網(wǎng)站。例如百度貼吧，豆瓣讀書。

例如-《桌面吧》的一個(gè)帖子https://tieba.baidu.com/p/2460150866?red_tag=3569129009

python代碼如下：

代碼注釋：引入了兩個(gè)模塊urllib,re。定義兩個(gè)函數(shù)，第一個(gè)函數(shù)是獲取整個(gè)目標(biāo)網(wǎng)頁(yè)數(shù)據(jù)，第二個(gè)函數(shù)是在目標(biāo)網(wǎng)頁(yè)中獲取目標(biāo)圖片，遍歷網(wǎng)頁(yè)，并且給獲取的圖片按照0開(kāi)始排序。

注：re模塊知識(shí)點(diǎn):

爬取圖片效果圖：

圖片保存路徑默認(rèn)在建立的.py同目錄文件下。

2.爬取有反爬蟲措施的百度圖片。如百度圖片等。

例如關(guān)鍵字搜索“表情包”https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%B1%ED%C7%E9%B0%FC&fr=ala&ori_query=%E8%A1%A8%E6%83%85%E5%8C%85&ala=0&alatpl=sp&pos=0&hs=2&xthttps=111111

圖片采用滾動(dòng)式加載，先爬取最優(yōu)先的30張。

代碼如下：

代碼注釋：導(dǎo)入4個(gè)模塊，os模塊用于指定保存路徑。前兩個(gè)函數(shù)同上。第三個(gè)函數(shù)使用了if語(yǔ)句，并tryException異常。

爬取過(guò)程如下：

爬取結(jié)果：

注：編寫python代碼注重對(duì)齊，and不能混用Tab和空格，易報(bào)錯(cuò)。

以上就是本文的全部?jī)?nèi)容，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，同時(shí)也希望多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

python詞云庫(kù)wordCloud使用方法詳解(解決中文亂碼)
這篇文章主要介紹了python詞云庫(kù)wordCloud使用方法詳解(解決中文亂碼),需要的朋友可以參考下
2020-02-02
python實(shí)現(xiàn)的config文件讀寫功能示例
這篇文章主要介紹了python實(shí)現(xiàn)的config文件讀寫功能,結(jié)合實(shí)例形式分析了Python文件讀寫相關(guān)操作技巧,需要的朋友可以參考下
2019-09-09
解決jupyter notebook import error但是命令提示符import正常的問(wèn)題
這篇文章主要介紹了解決jupyter notebook import error但是命令提示符import正常的問(wèn)題，具有很好的參考
2020-04-04
python上下文管理器協(xié)議的實(shí)現(xiàn)
這篇文章主要介紹了python上下文管理器協(xié)議的實(shí)現(xiàn)，在python中所有實(shí)現(xiàn)了上下文管理器協(xié)議的對(duì)象都可以用使用with操作，with啟動(dòng)了對(duì)象的上下文管理器
2022-06-06
Python學(xué)習(xí)之列表和元組的使用詳解
如果說(shuō)在Python語(yǔ)言中找一個(gè)最優(yōu)秀的數(shù)據(jù)類型，那無(wú)疑是列表，如果要在推薦一個(gè)，那我選擇元組。本篇文章我們的重心會(huì)放在列表上，元組可以看成不能被修改的列表，感興趣的可以了解一下
2022-10-10
Python?xmltodict實(shí)現(xiàn)簡(jiǎn)化XML數(shù)據(jù)處理
Python社區(qū)為提供了xmltodict庫(kù),它專為簡(jiǎn)化XML與Python數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)換而設(shè)計(jì),本文主要來(lái)為大家介紹一下如何使用xmltodict實(shí)現(xiàn)簡(jiǎn)化XML數(shù)據(jù)處理,希望對(duì)大家有所幫助
2025-01-01
Python圖片處理之圖片裁剪教程
這篇博文的目的是從圖片中提取一定的矩形區(qū)域作為新的圖片簡(jiǎn)單來(lái)說(shuō)：我的全家福丟了,所以我想從以前的房間照片里,提取出其中的全家福并重新打印一張（忽視畫質(zhì)問(wèn)題）現(xiàn)在我就是這么個(gè)目的,需要的朋友可以參考下
2021-05-05
Python利用Turtle繪制哆啦A夢(mèng)和小豬佩奇
turtle庫(kù)是python的基礎(chǔ)繪圖庫(kù)，經(jīng)常被用來(lái)介紹編程知識(shí)的方法庫(kù)，是標(biāo)準(zhǔn)庫(kù)之一，利用turtle可以制作很多復(fù)雜的繪圖。本文將為大家介紹通過(guò)turtle庫(kù)繪制制哆啦A夢(mèng)和小豬佩奇，感興趣的小伙伴可以學(xué)習(xí)一下
2022-04-04
python中如何調(diào)用ansys
這篇文章主要介紹了python中如何調(diào)用ansys問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2023-02-02
Python實(shí)現(xiàn)括號(hào)匹配方法詳解
這篇文章主要介紹了python實(shí)現(xiàn)括號(hào)匹配方法詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-02-02