Python爬蟲基礎之requestes模塊
更新時間：2021年04月26日 09:59:57 作者：世界的隱喻
這篇文章主要介紹了Python爬蟲基礎之requestes模塊,文中有非常詳細的代碼示例,對正在學習python爬蟲的小伙伴們有非常好的幫助,需要的朋友可以參考下
一、爬蟲的流程
開始學習爬蟲，我們必須了解爬蟲的流程框架。在我看來爬蟲的流程大概就是三步，即不論我們爬取的是什么數(shù)據(jù)，總是可以把爬蟲的流程歸納總結為這三步：
1.指定 url,可以簡單的理解為指定要爬取的網址
2.發(fā)送請求。requests 模塊的請求一般為 get 和 post
3.將爬取的數(shù)據(jù)存儲
二、requests模塊的導入
因為 requests 模塊屬于外部庫，所以需要我們自己導入庫
導入的步驟：
1.右鍵Windows圖標
2.點擊“運行”
3.輸入“cmd”打開命令面板
4.輸入“pip install requests”,等待下載完成
如圖：
如果還是下載失敗，我的建議是百度一下，你就知道（我也是邊學邊寫，是在是水平有限）
歐克，既然導入成功后我們就簡單的來爬取一下搜狗的首頁吧！
三、完整代碼
import requests
if __name__ == "__main__":
# 指定url
url = "https://www.sougou.com/"
# 發(fā)起請求
# get方法會返回一個響應數(shù)據(jù)
response = requests.get(url)
# 獲取響應數(shù)據(jù)
page_txt = response.text # text返回一個字符串的響應數(shù)據(jù)
# print(page_txt)
# 存儲
with open("./sougou.html", "w", encoding = "utf-8") as fp:
fp.write(page_txt)
print("爬取數(shù)據(jù)結束?。。?)
我們打開保存的文件，如圖
歐克，這就是最基本的爬取，如果學會了，那就試一試爬取 B站 的首頁吧。
到此這篇關于Python爬蟲基礎之requestes模塊的文章就介紹到這了,更多相關Python requestes模塊內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了Python?圖形繪制詳細代碼，文章主要從最簡單圖像的開始，在同一圖上繪制兩條或多條線一些簡單操作,想了解的小伙伴可以學習一下，希望對你的學習有所幫助2021-12-12
使用Python處理PPT文件通常需要使用第三方庫來簡化對PPT文件的讀取、寫入和修改操作,本文將給大家介紹一個小案例,使用Python批量生成PPT版榮譽證書,感興趣的同學跟著小編一起來看看吧2023-08-08
這篇文章主要介紹了scrapy中如何設置應用cookies的方法(3種)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
字符串駐留機制是Python針對字符串對象采取的一種內存優(yōu)化技術。其目標是減少內存使用并提高程序的性能。這篇文章主要介紹了字符串駐留機制的簡單應用，需要的可以參考一下2023-04-04
python進階教程之循環(huán)相關函數(shù)range、enumerate、zip
這篇文章主要介紹了python進階教程之循環(huán)相關函數(shù)range、enumerate、zip,在使用循環(huán)程序經常要配合這些函數(shù)來完成循環(huán),需要的朋友可以參考下2014-08-08
缺失值是指粗糙數(shù)據(jù)中由于缺少信息而造成的數(shù)據(jù)的聚類、分組、刪失或截斷,下面這篇文章主要給大家介紹了關于Python處理缺失值的8種不同方法,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-06-06
本文主要為沒有使用正則表達式經驗的新手入門所寫。由淺入深介紹了Python 正則表達式，有需要的朋友可以看下2016-12-12
Python使用BeautifulSoup和Scrapy抓取網頁數(shù)據(jù)的具體教程
在當今信息爆炸的時代,數(shù)據(jù)無處不在,如何有效地抓取、處理和分析這些數(shù)據(jù)成為了許多開發(fā)者和數(shù)據(jù)科學家的必修課,本篇博客將深入探討如何使用Python中的兩個強大工具：BeautifulSoup和Scrapy來抓取網頁數(shù)據(jù),需要的朋友可以參考下2025-01-01
網絡設備配置備份與恢復在網絡安全管理中起著至關重要的作用,本文為大家介紹了如何通過Python實現(xiàn)網絡設備配置備份與恢復,需要的可以參考下2025-03-03
PyTorch之torch.matmul函數(shù)的使用及說明
PyTorch的torch.matmul是一個強大的矩陣乘法函數(shù)，支持不同維度張量的乘法運算，包括廣播機制。提供了矩陣乘法的語法，參數(shù)說明，以及使用示例，幫助理解其應用方式和乘法規(guī)則2024-09-09