都知道最近ChatGPT聊天機器人爆火，我也想方設法注冊了賬號，據(jù)說后面要收費了。

ChatGPT是一種基于大語言模型的生成式AI，換句話說它可以自動生成類似人類語言的文本，把梳理好的有邏輯的答案呈現(xiàn)在你面前，這完全不同于傳統(tǒng)搜索工具。

ChatGPT不光可以回答人文、科學、情感等傳統(tǒng)問題，還可以寫代碼、改bug，程序員可就急了，簡直是在搶飯碗，所以網(wǎng)上出現(xiàn)各種ChatGPT讓你失業(yè)的焦慮言論。

俗話說“百聞不如一見”，我試著讓ChatGPT用Python去寫爬蟲腳本，看它到底行不行？

1、爬取知乎上的專欄文章

提問：

幫我用python寫代碼爬取網(wǎng)站

ChatGPT:

把給到的代碼放進PyCharm中跑一遍，發(fā)現(xiàn)沒有報錯，且打印出了內容。

import requests
from bs4 import BeautifulSoup

url = "https://zhuanlan.zhihu.com/p/595050104"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

title = soup.find("h1", class_="Post-Title").text.strip()
body = soup.find("div", class_="Post-RichText").text.strip()

print("Title:", title)
print("Body:", body)

雖然說ChatGPT給出的代碼可以執(zhí)行，但它也提到由于爬取的網(wǎng)站會隨時變更，也就是HTML會變動，所以代碼可能需要調整才能正常工作。

凡是寫過爬蟲的同學應該都能理解，人工寫的爬蟲代碼也沒法一勞永逸，需要隨時改。

這一點ChatGPT提示的很有道理。

后來我測試了medium、百家號上的文章，ChatGPT提供的代碼形式幾乎和上面一致，沒法直接執(zhí)行獲取結果，需要微調后才能跑。

2. 爬取京東某商品的評論

為了給ChatGPT增加難度，我試著讓它去爬取某電商網(wǎng)站的用戶評論

提問：

請用python寫代碼爬取這個京東商品的所有用戶評論 https://item.jd.com/13652780.html

ChatGPT:

可能這個網(wǎng)頁是動態(tài)頁面，ChatGPT提供的方法并不能爬取評論。

我接著問：

爬取的結果是空值怎么辦？

ChatGPT:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-nnDP8sph-1676473447460)(null)]

ChatGPT提供了3種可能存在的原因，但并沒有幫我修改代碼。

于是我又問：

還是空值 請幫我重新寫代碼爬取

ChatGPT:

這次就牛掰了，它重新用Selenium寫了爬蟲代碼，并告訴我爬取動態(tài)網(wǎng)頁需要模擬瀏覽器行為，因此得用selenium技術。

我沒有運行去測試代碼正確與否，但ChatGPT確實驚艷到我了，能夠前后關聯(lián)對話內容，并給出正確的解決方法。

3.繼續(xù)更多的測試

上面只是蜻蜓點水的玩玩，ChatGPT就已經(jīng)吸引到我，

我準備多花時間去測試ChatGPT應對各種爬蟲的解決方案，以及它對bug的修復能力。

僅僅從寫代碼層面看，ChatGPT已經(jīng)可以媲美中高級程序員的水平了，而且它的知識范疇遠超人類最厲害的程序員

ChatGPT能夠根據(jù)對話生成人想要的內容，這是AI巨大的突破，未來它的應用之廣難以想象。

到此這篇關于ChatGPT 幫我自動編寫 Python 爬蟲腳本的文章就介紹到這了,更多相關ChatGPT自動編寫 Python 爬蟲腳本內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論