一、前言

今天教大家如何用Python爬蟲去搭建一個(gè)「生活常識(shí)解答」機(jī)器人。

思路：這個(gè)機(jī)器人主要是依托于“阿里達(dá)摩院發(fā)布的語(yǔ)言模型PLUG”，通過(guò)爬蟲的方式，發(fā)送post請(qǐng)求（提問(wèn)），然后返回json數(shù)據(jù)（回答）

二、問(wèn)答平臺(tái)

這個(gè)「生活常識(shí)解答」機(jī)器人采用的是：阿里達(dá)摩院發(fā)布的語(yǔ)言模型PLUG（最近剛發(fā)布的，目前是測(cè)試階段）

 該模型參數(shù)規(guī)模達(dá)270億，采用1TB以上高質(zhì)量中文文本訓(xùn)練數(shù)據(jù)，包括了新聞、小說(shuō)、詩(shī)歌、常識(shí)問(wèn)答等類型。

三、原頁(yè)面效果

 這里是需要登錄阿里云賬號(hào)，登錄之后可以在網(wǎng)頁(yè)進(jìn)行測(cè)試問(wèn)答！

 因此我們下面將通過(guò)抓包方式獲取這個(gè)問(wèn)答的請(qǐng)求鏈接，然后在python代碼中requests發(fā)送post請(qǐng)求去進(jìn)行提問(wèn)，然后返回結(jié)果（答案）。

四、抓包

在瀏覽器里面F12，點(diǎn)擊network，然后點(diǎn)擊一下提問(wèn)，獲取鏈接。

首先是發(fā)送的參數(shù)（提問(wèn)）

 然后是返回的json數(shù)據(jù)

 因此這個(gè)數(shù)據(jù)包的相關(guān)信息（請(qǐng)求鏈接，參數(shù)，返回結(jié)果）我們已經(jīng)知道了，下面開(kāi)始編寫python代碼

五、編寫代碼

首先是導(dǎo)入python庫(kù)和請(qǐng)求頭

import requests
import json
header={
    'content-type':'application/json',
    'cookie':'上面頁(yè)面中你自己的cookie',
 
 
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36',
}

 經(jīng)過(guò)測(cè)試，有用的請(qǐng)求頭參數(shù)是上面三個(gè)（content-type、cookie、User-Agent），缺一不可。

 參數(shù)（其中q是問(wèn)題，length是返回答案長(zhǎng)度，type是對(duì)應(yīng)常識(shí)問(wèn)題）

q = "程序員脫發(fā)用什么洗發(fā)水好？"
data = {
    'length':'128',
    'type':'2',
    'passage':q,
}

 發(fā)送請(qǐng)求

url = "https://nlp.aliyun.com/otherApi/yymx/cdgmwbsc"
text = requests.post(url,data = json.dumps(data),headers=header).json()
print(text['res'])

 返回結(jié)果

 下面為了能夠多輪提問(wèn)，將請(qǐng)求部分代碼放到循環(huán)中（如果輸入是exit則退出循環(huán)）

六、總結(jié)

今天小編主要就教大家用Python爬蟲去搭建一個(gè)「生活常識(shí)解答」機(jī)器人。

這個(gè)機(jī)器人主要是依托于“阿里達(dá)摩院發(fā)布的語(yǔ)言模型PLUG”，通過(guò)爬蟲的方式，發(fā)送post請(qǐng)求（提問(wèn)），然后返回json數(shù)據(jù)（回答）。輕松實(shí)現(xiàn)多輪提問(wèn)。

到此這篇關(guān)于python爬蟲之生活常識(shí)解答機(jī)器人的文章就介紹到這了,更多相關(guān)python機(jī)器人內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論