快捷導(dǎo)航

python爬蟲之爬取百度翻譯

更新時(shí)間：2021年04月26日 10:33:45 作者：世界的隱喻

這篇文章主要介紹了python爬蟲之爬取百度翻譯,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python的小伙伴們喲喲非常好的幫助,需要的朋友可以參考下

破解百度翻譯

翻譯是一件麻煩的事情，如果可以寫一個(gè)爬蟲程序直接爬取百度翻譯的翻譯結(jié)果就好了，可當(dāng)我打開百度翻譯的頁(yè)面，輸入要翻譯的詞時(shí)突然發(fā)現(xiàn)不管我要翻譯什么，網(wǎng)址都沒有任何變化，那么百度翻譯要怎么爬取呢？

爬取百度翻譯之前，我們先要明白百度翻譯是怎么在不改變網(wǎng)址的情況下實(shí)現(xiàn)翻譯的。百度做到這一點(diǎn)是用 AJAX 實(shí)現(xiàn)的，簡(jiǎn)單地說，AJAX的作用是在不重新加載網(wǎng)頁(yè)的情況下進(jìn)行局部的刷新。

了解了這一點(diǎn)，那么我們要怎么得到 AJAX 工作時(shí)請(qǐng)求的URL呢？老規(guī)矩，使用抓包工具。

爬蟲步驟

在 “百度翻譯” 頁(yè)面右鍵，選擇“Notework”選擇 “ XHR ”

在這里插入圖片描述

如果畫面沒有任何數(shù)據(jù)，可以試著輸入要翻譯的詞，比如說我輸入“dog”時(shí)，就發(fā)生了如下的變化

在這里插入圖片描述

我們看到此時(shí)的 kw 是我要翻譯的詞，說明這是我們要找的東西。

（注意：我們發(fā)現(xiàn)其中有三個(gè) sug ，我選的只是其中一個(gè)。如果我們?nèi)紟c(diǎn)開看，就會(huì)發(fā)現(xiàn)，他們的 kw 分別是：d 和 do。這是因?yàn)槲掖?dog 時(shí)一個(gè)單詞一個(gè)單詞打的，而 AJAX 是時(shí)時(shí)刷新。如果輸入中文就不會(huì)出現(xiàn)這種情況。翻譯中文時(shí)，我們找的也不是 sug 了，具體是什么，就看哪個(gè)包的 data 的值是我們要翻譯的詞。）

然后我們?cè)诨氐缴厦?，找到我們需要指定?URL 、我們要選擇的請(qǐng)求命令以及爬取到的數(shù)據(jù)的類型。

在這里插入圖片描述

歐克，做到這里我們的前期準(zhǔn)備就完成了，下面就可以開始著手寫代碼了。

import requests

if __name__ == "__main__":
    # 指定 url
    url = "https://fanyi.baidu.com/sug"

    # 要翻譯的詞
    keyword = input("需要翻譯的詞：")

    data = {
        "kw": keyword
        }

    # UA 偽裝
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
        }

    # 發(fā)送請(qǐng)求
    response = requests.post(url = url, data = data, headers = header).json()

    print(response)

我們運(yùn)行程序發(fā)現(xiàn)結(jié)果是這樣的：

在這里插入圖片描述

因?yàn)檎?qǐng)求到的數(shù)據(jù)比較短，所以我們比較容易地看出數(shù)據(jù)的結(jié)構(gòu)是字典里有列表，列表里又有字典結(jié)構(gòu)。如果比較長(zhǎng)，我們可以使用在線 json 轉(zhuǎn)換,轉(zhuǎn)換后的數(shù)據(jù)是這樣的

在這里插入圖片描述