使用requests庫制作Python爬蟲
更新時(shí)間：2018年03月25日 09:39:03 作者：豆芽菜橙
Requests是用python語言基于urllib編寫的，采用的是Apache2 Licensed開源協(xié)議的HTTP庫,Requests它會比urllib更加方便，可以節(jié)約我們大量的工作。一句話，requests是python實(shí)現(xiàn)的最簡單易用的HTTP庫，建議爬蟲使用requests庫。
使用python爬蟲其實(shí)就是方便，它會有各種工具類供你來使用，很方便。Java不可以嗎？也可以，使用httpclient工具、還有一個(gè)大神寫的webmagic框架，這些都可以實(shí)現(xiàn)爬蟲，只不過python集成工具庫，使用幾行爬取，而Java需要寫更多的行來實(shí)現(xiàn)，但目的都是一樣。
下面介紹requests庫簡單使用：
#!/usr/local/env python
# coding:utf-8
import requests
#下面開始介紹requests的使用，環(huán)境語言是python3，使用下面的網(wǎng)址作為參考
#http://www.sse.com.cn/market/bonddata/data/tb/
request_param = {'jsonCallBack': 'jsonpCallback6588',
'isPagination': 'true',
'sqlId': 'COMMON_BOND_XXPL_ZQXX_L',
'BONDTYPE': '地×××府債券',
'pageHelp.pageSize': '25',
'pageHelp.pageNo': '2',
'pageHelp.beginPage': '2',
'pageHelp.cacheSize': '1',
'pageHelp.endPage': '21'}
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'
#設(shè)置headers
headers = {'User-Agent': user_agent, 'Referer': referer}
#設(shè)置代理
proxy = {
"http":"http://113.214.13.1:8000"
}
# 需要請求的URL地址
request_url = 'http://query.sse.com.cn/commonQuery.do?'
#設(shè)置請求地址
response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param);
print(response.status_code)
#文本響應(yīng)內(nèi)容
print(response.text)
#json格式響應(yīng)內(nèi)容
print(response.json())
#二進(jìn)制響應(yīng)內(nèi)容
print(response.content)
#原始格式
print(response.raw)
相關(guān)文章
這篇文章主要介紹了Python中的logging模塊詳解,默認(rèn)情況下Python的logging模塊將日志打印到了標(biāo)準(zhǔn)輸出中,且只顯示了大于等于WARNING級別的日志,這說明默認(rèn)的日志級別設(shè)置為WARNING,需要的朋友可以參考下2023-09-09
大家好，本篇文章主要講的是用python將word文檔合并實(shí)例代碼，感興趣的同學(xué)趕快老看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
詳解python定時(shí)簡單爬取網(wǎng)頁新聞存入數(shù)據(jù)庫并發(fā)送郵件
這篇文章主要介紹了python定時(shí)簡單爬取網(wǎng)頁新聞存入數(shù)據(jù)庫并發(fā)送郵件，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11
Python使用everything庫構(gòu)建文件搜索和管理工具
在這篇博客中,我將分享如何使用 Python 的 everytools庫構(gòu)建一個(gè)簡單的文件搜索和管理工具,這個(gè)工具允許用戶搜索文件、查看文件路徑、導(dǎo)出文件信息到 Excel,以及生成配置文件,文中有相關(guān)的代碼示例供大家參考,需要的朋友可以參考下2024-08-08
Python中Flask-RESTful編寫API接口(小白入門)
這篇文章主要介紹了Python中Flask-RESTful編寫API接口(小白入門)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
Python利用openpyxl庫遍歷Sheet的實(shí)例
今天小編就為大家?guī)硪黄狿ython利用openpyxl庫遍歷Sheet的實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
django中的自定義分頁器的實(shí)現(xiàn)示例
本文主要介紹了django中的自定義分頁器的實(shí)現(xiàn)示例，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
Python內(nèi)置數(shù)據(jù)結(jié)構(gòu)與操作符的練習(xí)題集錦
Python的一些算法題目經(jīng)常能夠幫助我們鞏固對一些常用方法的記憶,這里我們整理了一份Python內(nèi)置數(shù)據(jù)結(jié)構(gòu)與操作符的練習(xí)題集錦,需要的朋友可以參考下2016-07-07
在本篇內(nèi)容里小編給各位分享的是一篇關(guān)于python中的插入排序的簡單用法，有興趣的朋友們可以參考學(xué)習(xí)下。2021-01-01
這篇文章主要介紹了Python 中的with關(guān)鍵字使用詳解的相關(guān)資料,在Python中,with關(guān)鍵字是一個(gè)替你管理實(shí)現(xiàn)上下文協(xié)議對象的好東西,需要的朋友可以參考下2016-09-09