快捷導(dǎo)航

Python爬蟲常用庫的安裝及其環(huán)境配置

更新時(shí)間：2018年09月19日 11:29:24 作者：大大煥

今天小編就為大家分享一篇關(guān)于python爬蟲常用庫的安裝及其環(huán)境配置的文章，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧

Python常用庫的安裝

urllib、re 這兩個(gè)庫是Python的內(nèi)置庫，直接使用方法import導(dǎo)入即可。

在python中輸入如下代碼：

import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)

返回結(jié)果為HTTPResponse的對(duì)象：

<http.client.HTTPResponse object at 0x000001929C7525F8>

正則表達(dá)式模塊

import re

該庫為python自帶的庫，直接運(yùn)行不報(bào)錯(cuò)，證明該庫正確安裝。

requests這個(gè)庫是請(qǐng)求的庫

我們需要使用執(zhí)行文件pip3來進(jìn)行安裝。文件處于C:\Python36\Scripts下，我們可以先將此路徑設(shè)為環(huán)境變量。在命令行中輸入pip3 install requests進(jìn)行安裝。安裝完成后進(jìn)行驗(yàn)證

>>> import requests
>>> requests.get('http://www.baidu.com')
<Response [200]>

selenium實(shí)際上是用來瀏覽器的一個(gè)庫

做爬蟲時(shí)可能會(huì)碰到使用JS渲染的網(wǎng)頁，使用requests來請(qǐng)求時(shí)，可能無法正常獲取內(nèi)容，我們使用selenium可以驅(qū)動(dòng)瀏覽器獲得渲染后的頁面。也是使用pip3 install selenium安裝。進(jìn)行驗(yàn)證

>>> import selenium
>>> from selenium import webdriver
>>> driver = webdriver.Chrome()
DevTools listening on ws://127.0.0.1:60980/devtools/browser/7c2cf211-1a8e-41ea-8e4a-c97356c98910
>>> driver.get('http://www.baidu.com')

上述命令可以直接打開chrome瀏覽器，并且打開百度。但是，在這之前我們必須安裝一個(gè)chromedriver，并且安裝googlchrome瀏覽器，可自行去官網(wǎng)下載。當(dāng)我們安裝完畢后再運(yùn)行這些測(cè)試代碼可能依舊會(huì)出現(xiàn)一閃而退的情況，那么問題出在，chrome和chromdriver的版本不兼容，可以在官網(wǎng)下載chrome更高的版本，或者chromedriver更低的版本，但是只要都是最高版本就沒問題。
如何查看本機(jī)的chrome的版本，具體方法如下：

chromedriver的下載地址如下：
http://chromedriver.storage.googleapis.com/index.html
chromedriver解壓后放到Python或者其他配置了環(huán)境變量的目錄下。

phantomjs是一個(gè)無界面瀏覽器，在后臺(tái)運(yùn)行

可在官網(wǎng)自行下載。并且需要將phantomjs.exe 的所在目錄設(shè)為環(huán)境變量。測(cè)試代碼

>>> from selenium import webdriver
>>> driver = webdriver.PhantomJS()
>>> driver.get('http://www.baidu.com')
>>> driver.page_source
'<!DOCTYPE html><!--STATUS OK--><html><head>\n

lxml

使用pip3 install lxml安裝

beautifulsoup是一個(gè)網(wǎng)絡(luò)解析庫，依賴于lxml庫

使用pip3安裝。必須安裝pip3 install beautifulsoup4，因?yàn)閎eautifulsoup已經(jīng)停止維護(hù)了。安裝驗(yàn)證

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup('<html></html>','lxml')
>>>

pyquery也是網(wǎng)頁解析庫

較bs4更加方便，語法和Jquery無異。也是使用pip3 安裝

>>> from pyquery import PyQuery as pq #將其重命名
>>> doc = pq('<html></html>')
>>> doc = pq('<html>hello world</html>')
>>> result = doc('html').text()
>>> result
'hello world'

pymysql是一個(gè)操作mysql數(shù)據(jù)庫的庫

使用pip3 安裝

>>> import pymysql
>>> conn = pymysql.connect(host='localhost',user='root',password = '123456',port=3306,db='mysql')
>>> cursor = conn.cursor()
>>> cursor.execute('select * from db')
0

pymongo操作數(shù)據(jù)庫MongoDB的庫

需要開啟MongoDB服務(wù)，在計(jì)算機(jī)管理當(dāng)中的服務(wù)尋找。也是使用pip3安裝

>>> import pymongo
>>> client = pymongo.MongoClient('localhost')
>>> db = client['newtestdb']
>>> db['table'].insert({'name':'tom'})
ObjectId('5b868ee4c4d17a0b2466f748')
>>> db['table'].find_one({'name':'tom'})
{'_id': ObjectId('5b868ee4c4d17a0b2466f748'), 'name': 'tom'}
>>> #完成了單條數(shù)據(jù)的查詢

redis一個(gè)非關(guān)系型數(shù)據(jù)庫，運(yùn)行效率高

使用pip3 install redis安裝

>>> import redis
>>> r = redis.Redis ('localhost',6379)
>>> r.set('name','tom')
True
>>> r.get('name')
b'tom'
>>> #是一個(gè)byte型數(shù)據(jù)類型

flask做代理時(shí)可能會(huì)用到

詳細(xì)內(nèi)容可以在flask官網(wǎng)查看flask文檔

使用pip3 安裝pip3 install flask

django是一個(gè)web服務(wù)器框架

提供了一個(gè)完整的后臺(tái)管理，引擎、接口等，可以使用它做一個(gè)完整的網(wǎng)站。可在django的官網(wǎng)查看文檔。使用pip3 install django安裝

jupyter 可以理解為一個(gè)記事本

運(yùn)行網(wǎng)頁端，可以進(jìn)行寫代碼，調(diào)試，運(yùn)行。在官網(wǎng)可以下載jupyter，也可以用pip3 安裝，相關(guān)庫非常多，安裝比較久。安裝后可以在命令行直接運(yùn)行jupyter notebook，因?yàn)榇宋募趕crips目錄下。
C:\Users\dell>jupyter notebook
[I 20:32:37.552 NotebookApp] The port 8888 is already in use, trying another port.
[I 20:32:37.703 NotebookApp] Serving notebooks from local directory: C:\Users\dell