世界上80%的爬蟲是基于Python開發(fā)的，學好爬蟲技能，可為后續(xù)的大數(shù)據(jù)分析、挖掘、機器學習等提供重要的數(shù)據(jù)源。

什么是爬蟲？

網(wǎng)絡爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡機器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

其實通俗的講就是通過程序去獲取web頁面上自己想要的數(shù)據(jù)，也就是自動抓取數(shù)據(jù)

爬蟲可以做什么？

你可以用爬蟲爬圖片，爬取視頻等等你想要爬取的數(shù)據(jù)，只要你能通過瀏覽器訪問的數(shù)據(jù)都可以通過爬蟲獲取。

爬蟲的本質是什么？

模擬瀏覽器打開網(wǎng)頁，獲取網(wǎng)頁中我們想要的那部分數(shù)據(jù)

瀏覽器打開網(wǎng)頁的過程：

當你在瀏覽器中輸入地址后，經(jīng)過DNS服務器找到服務器主機，向服務器發(fā)送一個請求，服務器經(jīng)過解析后發(fā)送給用戶瀏覽器結果，包括html,js,css等文件內容，瀏覽器解析出來最后呈現(xiàn)給用戶在瀏覽器上看到的結果

所以用戶看到的瀏覽器的結果就是由HTML代碼構成的，我們爬蟲就是為了獲取這些內容，通過分析和過濾html代碼，從中獲取我們想要資源。

知識點擴展：

Python具有強大而豐富的類庫，也經(jīng)常被別人說是膠水語言，可以跟其它語言寫的模塊結合在一起。

優(yōu)點

1.簡單：Python是一種代表簡單主義思想的語言。

2.易用：Python簡單容易上手，因為有簡單容易看懂的文檔。

3.速度快：運行速度快，因為Python中的標準庫和第三方庫都是C語言編寫的，所以很快。

4.免費、開源：Python是一款FLOSS(自由/源代碼軟件)之一，使用者可以自由地發(fā)布這個軟件的拷貝、閱讀它的源代碼、對它做改動、把它的一部分用于新的自由軟件中。

5.高層語言：用Python語言編寫程序的時候無需考慮諸如如何管理你的程序使用的內存一類的底層細節(jié)。

6.可移植性：由于它的開源本質，Python已經(jīng)被移植在許多平臺上(經(jīng)過改動使它能夠工作在不同平臺上)。

7.解釋性：Python語言寫的程序不需要編譯成二進制代碼。你可以直接從源代碼運行 程序。在計算機內部，Python解釋器把源代碼轉換成稱為字節(jié)碼的中間形式，然后再把它翻譯成計算機使用的機器語言并運行。這使得使用Python更加簡單。也使得Python程序更加易于移植。

8.面向對象：Python既支持面向過程的編程也支持面向對象的編程。在“面向過程”的語言中，程序是由過程或僅僅是可重用代碼的函數(shù)構建起來的。在“面向對象”的語言中，程序是由數(shù)據(jù)和功能組合而成的對象構建起來的。

9.可擴展性：如果需要一段關鍵代碼運行得更快或者希望某些算法不公開，可以部分程序用C或C++編寫，然后在Python程序中使用它們。

10.可嵌入性：可以把Python嵌入C/C++程序，從而向程序用戶提供腳本功能。

11.豐富的庫：Python標準庫確實很龐大。它可以幫助處理各種工作，包括正則表達式、文檔生成、單元測試、線程、數(shù)據(jù)庫、網(wǎng)頁瀏覽器、CGI、FTP、電子郵件、XML、XML-RPC、HTML、WAV文件、密碼系統(tǒng)、GUI(圖形用戶界面)、Tk和其他與系統(tǒng)有關的操作。

12.規(guī)范的代碼：Python采用強制縮進的方式使得代碼具有較好可讀性。而Python語言寫的程序不需要編譯成二進制代碼。

以上就是學python爬蟲能做什么的詳細內容，更多關于python爬蟲可以做什么的資料請關注腳本之家其它相關文章！

最新評論