常見的協(xié)議

http和https
http協(xié)議：
超文本傳輸協(xié)議，是一個發(fā)布和接受HTML頁面的方法，端口是80

https 協(xié)議：http協(xié)議的加密版本，在HTTP下加上了ssl層，端口是443

下面訪問的是美團的官網：
可以看到端口是443

URL和RUI

常見的請求方式

http協(xié)議規(guī)定了瀏覽器與服務器進行數據交互過程中必須要選擇一種交互方式
在http協(xié)議中定義了8中請求方式，常見的是get和post請求

get請求： 一般只從服務器獲取數據下來，并不會對服務器資源產生任何的影響。

請求的時候關注：

url請求方式請求頭

post請求： 向服務器發(fā)送數據（登陸），上傳文件等，會對服務器資源產生影響的時候，會使用post請求。

不過有些網站做了反爬蟲機制，你去查看信息，也是使用post請求，所以我們寫爬蟲的時候，一定要分析網站。

常見的請求頭參數：

http協(xié)議中，向服務器發(fā)送一個請求，數據分為三部分：

• 把數據放在url中
• 數據放在body中，（post請求）
• 數據放在head中

常見的請求頭參數：

• user-agent :瀏覽器名稱
• referer: 當前這個請求從哪個url過來的
• cookie:http 協(xié)議是無狀態(tài)的，也就是一個人發(fā)送了兩次請求，服務器沒有能力知道這兩個請求是否來自同一個人。

常見的相應狀態(tài)碼

•  200 請求正常，服務器正常返回數據
• 301 永久重定向
• 404 請求的url在服務器上找不到
• 418 發(fā)送請求遇到服務器端的反爬蟲，服務器拒絕相應數據
• 500 服務器內部錯誤，可能是服務器出現(xiàn)了bug

HTTP的請求相應過程

使用瀏覽器進行網站分析

我們要分析的網站為： movie.douban.com

• Elements： 用于分析網站的結構

在頁面上的呈現(xiàn)的內容，在Elements都會有相應的元素。

• Console: 這里會打印招聘信息，警告等等。

• Sources
• Network ： 在顯示頁面的時候，產生的所有請求

headers 頭部信息

 session 與cookie

session代表的是服務器和瀏覽器的一次會話過程
session 是一種服務器端的機制，用來存儲特定用戶的會話所需要的信息，保存在內存，緩存，或者數據庫中。

cookie
cooke是由服務器端生成后發(fā)送給客戶端，cookie是保存在客戶端的

cookie原理：
1） 創(chuàng)建cookie
2) 設置存儲cookie
3) 發(fā)送cookie
4) 讀取cookie

到此這篇關于學習Python爬蟲前,需要先掌握哪些知識內容的文章就介紹到這了,更多相關學習Python爬蟲掌握知識內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論